跳到正文
原文
arXiv 机器学习· Niko Covic, Baraq Lipshitz, Alexander Padula, Stefan Visnjic·· 5 小时前AI 评分34

Muon 优化器在稳定边缘之外运行

Muon Operates Beyond the Edge of Stability

AI 导读

研究人员通过锐度分析 Muon 优化器,首次提供经验证据表明平坦极小值假设同样适用于 Muon。CIFAR-10 实验显示其锐度与泛化差距强相关(Pearson r = 0.45-0.69,p ≤ 10⁻⁴),且 Muon 虽超出限制 Adam 和 RMSprop 的自适应稳定边缘锐度阈值,却仍能保持稳定。这表明 Muon 在不同于对角自适应方法的机制下运行,其确切稳定边界仍是未解问题。

来源:arXiv 机器学习 · arxiv.org