arXiv 机器学习· Xinyu Zhao, Davis Wertheimer, Ashutosh Sharma, Rameswar Panda, Paul Pu Liang·· 6 小时前AI 评分40
在 LLM 训练阶段间切换优化器的短暂代价
The Ephemeral Cost of Switching Optimizers Across LLM Training Stages
AI 导读
研究表明在 LLM 预训练与后训练阶段之间切换 AdamW 和 Muon 优化器几乎不会带来有意义的性能惩罚。团队基于 1.2B Llama-3 从头预训练及持续预训练、SFT 进行插值测试，发现下游性能主要随 SFT 期间 Muon 更新比例的提升而改善。在参数量最高达 14B 的 Llama 与 Qwen 系列开源模型评测中，即使预训练采用 AdamW，后训练使用 Muon 依然保持竞争力。
来源：arXiv 机器学习 · arxiv.org