arXiv 自然语言处理· Jonghyun Han, Younghoon Song, Jongyoul Park·· 9 小时前AI 评分54
研究揭示大模型灾难性遗忘根源于未出现词元的输出嵌入层
A Deafening Silence: Catastrophic Forgetting Lives in the Output Embeddings of Tokens the Data Never Speaks
AI 导读
最新研究发现大语言模型在持续训练中的灾难性遗忘主要集中在极少出现词元的输出嵌入层，原因是缺失词元接收到的单向 softmax 梯度被 Adam 优化器的二阶动量归一化放大了更新幅度。
来源：arXiv 自然语言处理 · arxiv.org