AITNT · AI头条(网页)·· 2 小时前AI 评分71
淘宝 MNN 团队开源端侧模型 MNN-Pocket-0.3B
淘宝MNN团队开源0.3B手机模型,iPhone 18 Pro上离线跑出350 token/s
AI 导读
淘宝 MNN 团队开源轻量端侧语言模型 MNN-Pocket-0.3B,专为手机高频应用共享算力与内存的运行环境设计。模型 INT4 量化部署体积仅 173MB,在 iPad Pro M5 上解码吞吐达 466 token/s,峰值运行内存增量为 228MB。
来源:AITNT · AI头条(网页) · aitntnews.com