内部优化器如何影响大语言模型副本扩展

研究表明基于白化的预条件处理是改善大语言模型分布式训练中副本扩展的核心内部优化器特征。论文指出伪梯度的协方差结构以及批大小对伪梯度噪声尺度的影响，是决定固定训练预算下副本扩展性能的关键因素。实验显示，基于白化的内部优化器在 8-96 个副本下实现了强劲的副本扩展，且相对于数据并行的表现随参数和数据规模增加而持续改善。