研究揭示大模型灾难性遗忘机理聚焦于输出嵌入层

1. 12:00
   arXiv 自然语言处理

   研究揭示大模型灾难性遗忘根源于未出现词元的输出嵌入层

   最新研究发现大语言模型在持续训练中的灾难性遗忘主要集中在极少出现词元的输出嵌入层，原因是缺失词元接收到的单向 softmax 梯度被 Adam 优化器的二阶动量归一化放大了更新幅度。

当前热度 8·可比范围峰值 10（10月8日 13:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。