跳到正文
原文
AITNT · AI头条(网页)·· 2 小时前精选AI 评分80

面壁智能与OpenBMB开源MiniCPM-V 4.7:35B MoE模型仅占3G内存即可端侧运行

iPhone断网跑35B多模态!国产开源新模型,只占3G内存

AI 导读

面壁智能与OpenBMB正式开源端侧多模态模型MiniCPM-V 4.7,包含35B-A3B(激活3B)和1.3B两个版本。35B-A3B版本仅需约3G内存即可在iOS与安卓设备离线运行,在iPhone 17 Pro Max优化后解码速度达每秒13个token以上。该模型结合前瞻专家调度、混合精度量化及ViT内早期视觉压缩技术,并引入自回放微调以解决业务微调带来的能力遗忘问题。

推荐理由

端侧MoE通过前瞻调度与混合精度量化在低内存下保障速度,为移动设备离线运行大参数视觉模型提供了工程参考。

来源:AITNT · AI头条(网页) · aitntnews.com