研究揭示Muon正交化适应Hessian结构机制

2026年10月22日，arXiv发表的一篇机器学习论文针对Muon优化器在神经网络中超越AdamW的机制展开研究，从初始化阶段梯度自外积的角度解释了正交化适应Hessian结构的理论原因。论文提出，权重矩阵的过度参数化促成了动量自外积的对角占优，并在对称矩阵分解、深度线性网络、双层ReLU网络以及单层线性注意力四类典型模型中推导了对角项增长率。相关数值模拟与语言模型初始化实验验证了该缩放规律。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。