arXiv 机器学习· Jiazheng Li, Huaqing Zhang, Jing Xu, Tianle Cai, Jingzhao Zhang·· 9 小时前AI 评分35
超越数据调度：通过损失重加权实现 LLM 混合数据快速预训练
Beyond Data Schedule: Fast LLM Pretraining on Data Mixtures by Loss-Reweighting
AI 导读
研究人员提出自适应损失重加权方法 LARE，在保持数据采样比例固定的情况下，通过调整各领域损失权重提升大语言模型预训练性能并缓解遗忘。该方法依据损失统计自动平衡各领域损失尺度，无需额外训练来搜索权重。在 240B tokens 训练的 1.5B 模型上，LARE 使 5 项基准平均提升 +7.84 pp，其中 GSM8K 提升 +17.06 pp，MATH 提升 +9.00 pp。
来源：arXiv 机器学习 · arxiv.org