跳到正文
原文
量子位· 十三·· 13 小时前精选AI 评分77

面壁智能与OpenBMB开源MiniCPM-V 4.7端侧多模态模型

iPhone断网跑35B多模态!国产开源新模型,只占3G内存

AI 导读

面壁智能与OpenBMB正式开源端侧多模态模型MiniCPM-V 4.7,包含35B-A3B与1.3B两个版本。其中35B-A3B为激活3B参数的MoE架构,借助前瞻专家调度与逐层混合精度量化,可在iPhone断网环境下仅占用约3G内存运行,解码速度超过每秒13个token。该系列模型支持iOS、安卓等多平台部署,并配套自回放微调技术以减少模型定制时的能力遗忘。

推荐理由

该模型通过前瞻专家调度将35B MoE的内存需求压至3G,为端侧设备离线部署大参数多模态模型提供了具体的工程实现参考。

来源:量子位 · qbitai.com