arXiv 机器学习· Egor Shulgin, Sam Laing, Antonio Orvieto, Peter Richt\'arik·· 7 小时前AI 评分44
从二次函数视角看 Muon 极分解更新：优势、陷阱与 Newton-Schulz 的作用
A Quadratic Lens on Muon's Polar Update: Benefits, Pitfalls, and the Role of Newton-Schulz
AI 导读
新研究在矩阵二次问题上解析了 Muon 核心更新 PolarGD，揭示了正交化加速训练与变慢的机理。其收敛速度由当前迭代状态主导，极小奇异值会导致严重变慢；而 Muon 采用的少量 Newton-Schulz 迭代能规避该缺陷，收敛速度快于精确正交化。此外，实测 Transformer 注意力矩阵约四分之一的奇异值正处于该区间。
来源：arXiv 机器学习 · arxiv.org