arXiv 机器学习· Omatharv Bharat Vaidya, Ashwin Vinod, Pedram Akbarian, Aditya Sai Ellendula, Connor T. Jerzak, Nhat Ho·· 4 小时前AI 评分35
ExpertMuon-Compass：面向 MoE 训练的对齐引导步长机制
ExpertMuon-Compass: Alignment-Guided Step Sizes for Mixture-of-Experts Training
AI 导读
研究者提出 ExpertMuon-Compass（Compass），通过引入族群因子与标量半径动态调整每个专家的步长，解决 MoE 模型训练中 Muon 更新与当前梯度对齐不良的问题。
来源：arXiv 机器学习 · arxiv.org