ChatGPT / AI新闻聚合
4 小时前
Swiftlet 把 80B 量级 Qwen 巨兽塞进 Mac:峰值内存仅 4.3GB,iPhone 17 还能原生机跑 35B
via
AI新闻资讯
(author: AI Base)
Telegraph
Swiftlet 把 80B 量级 Qwen 巨兽塞进 Mac:峰值内存仅 4.3GB,iPhone 17 还能原生机跑…
一个叫 Swiftlet 的 Swift + Metal 运行时正在重新定义"大模型能跑在哪"。它专门伺候 Qwen3-Next 和 Qwen3.5/3.6这一族 MoE 混合模型,核心思路很狡猾:只让模型的小型稠密核心常驻内存,真正的大头——那些路由专家权重——平时躺在 SSD 里,用到时才按需求流式取出来。 效果直接体现在数字上。在 M5Mac 上,Qwen3.6-35B-A3B 的4-bit 版本磁盘占18GB,但峰值内存只有2.6GB,解码速度7到11tok/s;更夸张的是 Qwen3-Next…
Home
Tags
免费GPT聊天
Best AI API中转2.8折起
Best AI 服务状态
电报频道
Powered by
BroadcastChannel
&
Sepia
Copyright © 2025 BESTAI. All rights reserved.
BEST AI API中转 - OpenAI DeepSeek Claude Gemini Grok MidJourney API 2.8折起
admin@oaibest.com