Muon 何时以及如何发挥预条件作用？结构化梯度噪声的机制

一项新研究揭示了 Muon 优化器在 LLM 训练中发挥预条件作用的理论机制，表明其加速增益源于 mini-batch 采样的结构化梯度噪声而非各向同性噪声。分析显示 Muon 能将任务频率依赖从线性放宽至平方根级别，有助于平衡高频与罕见任务学习，同时避免了 SignSGD 的旋转诱导负迁移。初步 LLM 预训练研究进一步验证了 fast-slow momentum 的实用潜力。