热点事件持续更新
研究提出LARE自适应损失重加权方法优化大模型预训练
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026年10月，研究人员提出了名为LARE的自适应损失重加权方法，旨在优化大语言模型的多领域混合数据预训练。该方法在保持数据采样比例固定的前提下，通过调整各领域的损失权重来提升预训练性能并有效缓解遗忘现象。LARE能够根据损失统计数据自动平衡各领域的损失尺度，无需通过额外的训练过程来搜索权重。实验结果显示，在基于240B tokens训练的1.5B参数模型上，LARE在5项基准测试中平均提升了7.84个百分点，其中GSM8K基准提升17.06个百分点，MATH基准提升9.00个百分点。
AI 根据报道生成 · 4 小时前更新
最新进展10月26日 12:00
研究人员提出LARE自适应损失重加权方法，在1.5B模型上实现基准平均提升7.84 pp。报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv 机器学习超越数据调度：通过损失重加权实现 LLM 混合数据快速预训练
研究人员提出自适应损失重加权方法 LARE，在保持数据采样比例固定的情况下，通过调整各领域损失权重提升大语言模型预训练性能并缓解遗忘。该方法依据损失统计自动平衡各领域损失尺度，无需额外训练来搜索权重。在 240B tokens 训练的 1.5B 模型上，LARE 使 5 项基准平均提升 +7.84 pp，其中 GSM8K 提升 +17.06 pp，MATH 提升 +9.00 pp。
本事件热度走势
当前热度 9·可比范围峰值 10（10月26日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。