百度开源文心5.5 Flash Base基座模型

11 月 5 日，百度正式发布稀疏 MoE 基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）并开放权重，总参数量 280B，每 token 激活 14B。

百度文心大模型开源发布稀疏 MoE 语言模型 ERNIE-5.5-Flash-Base，总参数 280B，每 token 激活 14B，在 33.5T tokens 上从零完成预训练。该权重未经中训练与后训练，微调与推理支持 1M tokens 上下文，训练结合了分布式 Muon 优化器与 FlashMask-4 注意力算子；官方表示后续将推出经过后训练的完整版本。

百度正式开源MoE基座模型文心5.5 Flash Base，总参数量2800亿且每token激活140亿参数。模型基于33.5万亿token预训练，支持最高100万token推理上下文，在知识、推理与代码等多项基准中达到同尺寸领先表现。其在架构上采用结合HCA与MLA的潜在门控稀疏注意力，并通过复用主干最后一层学习预测后续token，模型权重已上线Hugging Face。