Buzzing HN · 中文精选· pretext·· 2 小时前精选AI 评分80
百度发布 ERNIE 5.5 Flash Base 基础模型
百度发布了ERNIE 5.5 Flash基础模型
AI 导读
百度正式发布基础模型 ERNIE-5.5-Flash-Base,采用稀疏 MoE 架构,总参数量 280B,每 token 激活 14B,在 33.5T tokens 上从头预训练完成。
推荐理由
原文披露了混合稀疏注意力和多路由 MoE 的完整架构细节与训练基准,便于开发者评估其作为下游训练基座的计算开销。
来源:Buzzing HN · 中文精选 · ernie.baidu.com