AITNT · AI头条（网页）·· 1 小时前精选AI 评分78
百度开源文心 5.5 Flash Base 预训练基模，总参数 280B 激活 14B
刚刚，百度开源全新预训练基模，还是主打效率的Flash
AI 导读
11 月 5 日，百度正式发布稀疏 MoE 基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）并开放权重，总参数量 280B，每 token 激活 14B。
推荐理由
原文披露了混合稀疏注意力、多路由器 MoE 与内置未来预测架构设计，可为长上下文低显存推理与二次预训练提供具体工程参考。
来源：AITNT · AI头条（网页） · aitntnews.com