热点事件持续更新
研究发现大模型训练阶段间切换优化器代价极小
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026年10月19日，arXiv发布的一项机器学习研究显示，在大语言模型（LLM）的预训练与后训练阶段之间切换AdamW和Muon优化器，几乎不会带来有意义的性能惩罚。研究团队基于1.2B参数的Llama-3模型进行了从头预训练、持续预训练及SFT插值测试，发现下游性能主要随着SFT期间Muon更新比例的增加而提升。此外，在参数量最高达14B的Llama与Qwen系列开源模型评测中，即便预训练阶段使用AdamW，后训练切换为Muon依然保持竞争力。
AI 根据报道生成 · 4 小时前更新
最新进展10月19日 12:00
研究发现在预训练与后训练阶段切换AdamW与Muon代价极小，已在最高14B模型上验证。报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- arXiv 机器学习在 LLM 训练阶段间切换优化器的短暂代价
研究表明在 LLM 预训练与后训练阶段之间切换 AdamW 和 Muon 优化器几乎不会带来有意义的性能惩罚。团队基于 1.2B Llama-3 从头预训练及持续预训练、SFT 进行插值测试，发现下游性能主要随 SFT 期间 Muon 更新比例的提升而改善。在参数量最高达 14B 的 Llama 与 Qwen 系列开源模型评测中，即使预训练采用 AdamW，后训练使用 Muon 依然保持竞争力。
本事件热度走势
当前热度 9·可比范围峰值 10（10月19日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。