arXiv 机器学习· Mahalakshmi Sabanayagam, Simon Lucey·· 6 小时前AI 评分34
优化器几何决定演化节奏：矩阵分解中的谱学习动力学
Optimizer Geometry Sets the Pace: Spectral Learning Dynamics in Matrix Factorization
AI 导读
一项新研究构建了统一分析框架，揭示了优化器几何与网络深度如何共同控制深度矩阵分解中的奇异模态演化动力学。研究推导了 GD、SignGD、Adam 近似、Muon、累积 Shampoo 及 K-FAC 的生成、饱和与衰减规律。
来源：arXiv 机器学习 · arxiv.org