Hacker News · AI· psoulos·· 2 小时前精选AI 评分77
Microsoft AI 完成基座模型 MAI-Base-2 预训练
Frontier Pre-Training at Microsoft AI
AI 导读
Microsoft AI 宣布完成新一代基座模型 MAI-Base-2 的预训练，该模型为 80B 激活、2.8T 总参数的 MoE 架构，并原生集成了视觉多模态能力。
推荐理由
文章系统披露了万亿级 MoE 模型在训练标度预测、超参数缩放规律以及大规模 Muon 优化器上的工程实践细节。
来源：Hacker News · AI · microsoft.ai