热点事件持续更新
研究揭示Muon优化器导致MoE首层负载失衡及缓解方案
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026年10月30日，arXiv发表的研究指出，在开源MoE模型中使用Muon优化器训练会使首个MoE层的偏置跨度平均翻倍，导致该层更难实现负载均衡。在55M和108M激活参数的测试中，Muon优化器引发输入方向趋同，使最繁忙专家在warmup后的负载达到公平份额的4至7倍。研究同时提出了缓解方案：在前3,000步中从路由器输入减去batch均值，或将学习率减半，即可有效消除过载问题，且几乎不会对模型的loss产生负面影响。
AI 根据报道生成 · 3 小时前更新
最新进展10月30日 12:00
研究指出Muon会导致MoE首层专家负载过载达4至7倍，减去均值或降学习率可缓解。报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- arXiv 机器学习Muon 导致 MoE 首层更难实现负载均衡
研究发现在开源 MoE 模型中使用 Muon 优化器训练会使首个 MoE 层的偏置跨度平均翻倍，导致该层更难实现负载均衡。在 55M 和 108M 激活参数测试中，Muon 导致输入方向趋同并使最繁忙专家在 warmup 后的负载达公平份额的 4 至 7 倍。在前 3,000 步中从路由器输入减去 batch 均值或将学习率减半可有效消除过载，且几乎不影响 loss。
本事件热度走势
当前热度 8·可比范围峰值 9（10月30日 15:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。