arXiv 机器学习· Shenyang Deng, Garvit Goyal, Tianyu Pang, Shuhua Yu, Yaoqing Yang·· 2 小时前AI 评分35
正交化如何适应神经网络 Hessian 结构？基于初始化梯度的自外积分析
How Does Orthogonalization Adapt to the Neural Network Hessian Structure? A Gradient Self Outer-Product Analysis at Initialization
AI 导读
研究针对 Muon 优化器在神经网络中超越 AdamW 的机制，从初始化阶段梯度自外积的角度解释了正交化适应 Hessian 结构的理论原因。论文提出权重矩阵的过度参数化促成了动量自外积的对角占优，并在对称矩阵分解、深度线性网络、双层 ReLU 网络与单层线性注意力这四类典型模型中推导了对角项增长率。数值模拟与语言模型初始化实验验证了该缩放规律。
来源：arXiv 机器学习 · arxiv.org