跳到正文
原文
IT之家 · AI 筛选·· 9 小时前精选AI 评分79

MiniMax 开源 M3.1 Flash 模型权重,总参数 428B 激活 23B

MiniMax M3.1 Flash 开源模型权重,总参数 428B

AI 导读

MiniMax 宣布开源 MiniMax M3.1 Flash 模型权重,总参数 428B,激活参数 23B。该模型采用稀疏注意力、路由 MoE 专家 W4A4 量化感知训练与功耗调度优化来提升推理效率,上线 72 小时内处理了超 100 万亿 Token。相关权重已上线 Hugging Face 与魔搭社区,并联合海内外多家芯片厂商和云平台推进首日接入。

推荐理由

原文列出了稀疏注意力与低比特量化等工程优化手段,读者可以借此了解大参数 MoE 模型的轻量化部署路径。

来源:IT之家 · AI 筛选 · ithome.com