热点事件持续更新
研究提出Spectrally Targeted Muon优化器解析其优势机制
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月9日，研究者在arXiv发布研究，提出Spectrally Targeted Muon优化器。该优化器通过Newton-Schulz迭代实现谱目标正交化，在归一化SGD与Muon之间进行插值，旨在探究Muon的有效机制。在CIFAR-10与NanoGPT上的实验显示，Muon的优势主要来自放大动量中极小且难以训练的奇异方向，而非抑制大奇异值；实验还表明AdamW因结构构建缓慢而更加依赖warmup。
AI 根据报道生成 · 3 小时前更新
最新进展10月9日 12:00
研究提出Spectrally Targeted Muon优化器，揭示Muon优势源于放大极小奇异方向。报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv 机器学习Spectrally Targeted Muon 优化器
研究者提出 Spectrally Targeted Muon 优化器，通过 Newton-Schulz 迭代实现谱目标正交化，在归一化 SGD 与 Muon 之间插值并探究其有效机制。在 CIFAR-10 与 NanoGPT 上的实验表明，Muon 的优势主要来自放大动量中极小且难以训练的奇异方向，而非抑制大奇异值；AdamW 则因结构构建缓慢而更依赖 warmup。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。