热点事件持续更新
研究揭示内部优化器对大模型分布式训练副本扩展的影响机制
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
2026年10月15日，arXiv发布的研究揭示了内部优化器对大语言模型分布式训练中副本扩展的影响机制。研究指出，基于白化的预条件处理是改善大语言模型副本扩展的核心内部优化器特征。论文分析显示，伪梯度的协方差结构以及批大小对伪梯度噪声尺度的影响，是决定固定训练预算下副本扩展性能的关键因素。实验表明，基于白化的内部优化器在8至96个副本下实现了强劲的副本扩展，且相对于数据并行的表现随着模型参数与数据规模的增加而持续改善。
AI 根据报道生成 · 8 小时前更新
最新进展10月15日 12:00
研究指出基于白化的预条件处理可改善大模型副本扩展，并在8至96个副本实验中表现强劲。报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv 机器学习内部优化器如何影响大语言模型副本扩展
研究表明基于白化的预条件处理是改善大语言模型分布式训练中副本扩展的核心内部优化器特征。论文指出伪梯度的协方差结构以及批大小对伪梯度噪声尺度的影响，是决定固定训练预算下副本扩展性能的关键因素。实验显示，基于白化的内部优化器在 8-96 个副本下实现了强劲的副本扩展，且相对于数据并行的表现随参数和数据规模增加而持续改善。
本事件热度走势
当前热度 8·可比范围峰值 10（10月15日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。