百度开源文心5.5 Flash Base基座模型

百度正式开源MoE基座模型文心5.5 Flash Base，总参数量2800亿且每token激活140亿参数。模型基于33.5万亿token预训练，支持最高100万token推理上下文，在知识、推理与代码等多项基准中达到同尺寸领先表现。其在架构上采用结合HCA与MLA的潜在门控稀疏注意力，并通过复用主干最后一层学习预测后续token，模型权重已上线Hugging Face。