Hot storiesContinuously updated
研究发现剪枝冗余注意力头可抑制LLM逐字记忆
1 reports1 reporting sourcesUpdated 3 hours ago
Start here
AI overview
2026年11月2日，arXiv公开的一项自然语言处理研究提出，在推理前将大语言模型（LLM）的大量冗余注意力头剪枝置零，可显著抑制模型对训练数据的逐字记忆。该方法无需重新训练模型或修改训练数据。在GPT-2-XL（1.5B）模型上的评估结果显示，剪枝729个任务冗余头使记忆数量减少了91.5%，同时将WikiText-103的困惑度改善了0.92。
AI-generated from reports · Updated 3 hours ago
Latest developmentsNov 2 13:00
arXiv新研究提出在推理前剪枝冗余注意力头，无需重训即可使GPT-2-XL逐字记忆减少91.5%。Report timeline
Follow the reports to see different sides of the story.
Nov 2
- arXiv 自然语言处理更少的注意力头，更少的记忆：剪枝冗余注意力头抑制逐字记忆
在推理前将大语言模型的大量冗余注意力头剪枝置零，可显著抑制对训练数据的逐字记忆，且无需重新训练或修改训练数据。在 GPT-2-XL(1.5B) 上的评估显示，剪枝 729 个任务冗余头使记忆数量减少 91.5%，同时将 WikiText-103 困惑度改善了 0.92。
Story heat trend
Current heat 9·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.