跳到正文
原文
Buzzing HN · 中文精选· pretext·· 2 小时前精选AI 评分80

百度发布 ERNIE 5.5 Flash Base 基础模型

百度发布了ERNIE 5.5 Flash基础模型

AI 导读

百度正式发布基础模型 ERNIE-5.5-Flash-Base,采用稀疏 MoE 架构,总参数量 280B,每 token 激活 14B,在 33.5T tokens 上从头预训练完成。

推荐理由

原文披露了混合稀疏注意力和多路由 MoE 的完整架构细节与训练基准,便于开发者评估其作为下游训练基座的计算开销。

来源:Buzzing HN · 中文精选 · ernie.baidu.com