arXiv 机器学习· Vishrut Goyal, Rohan Ramkumar·· 4 小时前AI 评分43
Spectrally Targeted Muon 优化器
Spectrally Targeted Muon
AI 导读
研究者提出 Spectrally Targeted Muon 优化器，通过 Newton-Schulz 迭代实现谱目标正交化，在归一化 SGD 与 Muon 之间插值并探究其有效机制。在 CIFAR-10 与 NanoGPT 上的实验表明，Muon 的优势主要来自放大动量中极小且难以训练的奇异方向，而非抑制大奇异值；AdamW 则因结构构建缓慢而更依赖 warmup。
来源：arXiv 机器学习 · arxiv.org