热点事件持续更新
研究发现剪枝冗余注意力头可抑制LLM逐字记忆
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年11月2日，arXiv公开的一项自然语言处理研究提出，在推理前将大语言模型（LLM）的大量冗余注意力头剪枝置零，可显著抑制模型对训练数据的逐字记忆。该方法无需重新训练模型或修改训练数据。在GPT-2-XL（1.5B）模型上的评估结果显示，剪枝729个任务冗余头使记忆数量减少了91.5%，同时将WikiText-103的困惑度改善了0.92。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
arXiv新研究提出在推理前剪枝冗余注意力头，无需重训即可使GPT-2-XL逐字记忆减少91.5%。报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv 自然语言处理更少的注意力头，更少的记忆：剪枝冗余注意力头抑制逐字记忆
在推理前将大语言模型的大量冗余注意力头剪枝置零，可显著抑制对训练数据的逐字记忆，且无需重新训练或修改训练数据。在 GPT-2-XL(1.5B) 上的评估显示，剪枝 729 个任务冗余头使记忆数量减少 91.5%，同时将 WikiText-103 困惑度改善了 0.92。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。