百度文心开源发布 ERNIE 5.5 Flash Base 基座模型

百度文心大模型开源发布稀疏 MoE 语言模型 ERNIE-5.5-Flash-Base，总参数 280B，每 token 激活 14B，在 33.5T tokens 上从零完成预训练。该权重未经中训练与后训练，微调与推理支持 1M tokens 上下文，训练结合了分布式 Muon 优化器与 FlashMask-4 注意力算子；官方表示后续将推出经过后训练的完整版本。