研究揭示优化器动量历史导致语言模型微调遗忘机制

1. 12:00
   arXiv 自然语言处理

   优化器历史与答案概率流失：语言模型微调中的遗忘机制研究

   研究发现大语言模型在微调中发生遗忘的关键原因之一是优化器的动量记忆，其累积的历史梯度会对抗当前梯度并导致旧答案概率流失。跨 3 个语言模型族的实验表明，遗忘的负面影响主要来自新任务的较旧梯度，导致模型虽能区分旧答案却降低了生成概率。通过重置 Adam 动量可有效恢复答案概率质量，并在后续训练中降低旧任务的最终损失。

当前热度 9·可比范围峰值 10（10月6日 13:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。