AITNT · AI头条（网页）·· 3 hours agoAI score71
淘宝 MNN 团队开源端侧模型 MNN-Pocket-0.3B
淘宝MNN团队开源0.3B手机模型，iPhone 18 Pro上离线跑出350 token/s
Not yet translated; shown in Chinese.
AI guide
淘宝 MNN 团队开源轻量端侧语言模型 MNN-Pocket-0.3B，专为手机高频应用共享算力与内存的运行环境设计。模型 INT4 量化部署体积仅 173MB，在 iPad Pro M5 上解码吞吐达 466 token/s，峰值运行内存增量为 228MB。
Source:AITNT · AI头条（网页） · aitntnews.com