arXiv 机器学习· Xingyu Dang, Kaiyue Wen, Sadhika Malladi·· 7 小时前AI 评分44
最佳优化器取决于 Batch Size
The Best Optimizer Depends on Batch Size
AI 导读
最新研究表明，大语言模型预训练中的最佳优化器选择会随 Batch Size 的改变而发生变化。研究指出，目前自适应优化器通常仅在单一 Batch Size 下进行基准测试，但实验表明针对 Muon 优化器并不存在能跨训练设置一致生效的超参数缩放法则，即使经过广泛调优，不同 Batch Size 下的最优优化器依然不同。
来源：arXiv 机器学习 · arxiv.org