IT之家 · AI 筛选·· 3 hours agoAI score72
淘宝 MNN 团队开源 MNN-Pocket-0.3B 端侧模型，iPhone 18 Pro 离线解码达 350 token/s
淘宝 MNN 团队开源 0.3B 手机模型，苹果 iPhone 18 Pro 离线跑出 350 token/s
Not yet translated; shown in Chinese.
AI guide
淘宝 MNN 团队开源了约 3 亿参数的轻量语言模型 MNN-Pocket-0.3B，INT4 部署文件体积为 173MB，重点面向手机端本地运行。该模型在 iPhone 18 Pro 上完全离线运行的平均解码速度约 350 token/s，在 iPad Pro M5 下峰值驻留内存增量为 228MB、解码吞吐达 466 token/s。
Source:IT之家 · AI 筛选 · ithome.com