arXiv 机器学习· Marcos Hernanz·· 9 小时前AI 评分39
Muon 导致 MoE 首层更难实现负载均衡
Muon Makes the First Mixture-of-Experts Layer Harder to Balance
AI 导读
研究发现在开源 MoE 模型中使用 Muon 优化器训练会使首个 MoE 层的偏置跨度平均翻倍，导致该层更难实现负载均衡。在 55M 和 108M 激活参数测试中，Muon 导致输入方向趋同并使最繁忙专家在 warmup 后的负载达公平份额的 4 至 7 倍。在前 3,000 步中从路由器输入减去 batch 均值或将学习率减半可有效消除过载，且几乎不影响 loss。
来源：arXiv 机器学习 · arxiv.org