无量火科技 Ember 推理引擎让 30B 大模型跑进手机

无量火科技联合高通展示了 Ember 推理引擎，让手机在模型未经改动且质量无损的前提下跑通 30B 大模型。该引擎利用轻量模型预测推理所需参数并从闪存按需加载，实测将 MoE 模型内存占用降低 80%、Dense 模型降低 50%。此外，其基于 Ember 打造的 FlareOS 仅需 300MB 出头运行内存即可支撑大模型与多个 Agent 运行。