ホットトピック継続更新中
研究发现剪枝冗余注意力头可抑制LLM逐字记忆
1 件の報道1 件の報道元3 時間前 更新
まずこの件を把握する
AI 概要
2026年11月2日，arXiv公开的一项自然语言处理研究提出，在推理前将大语言模型（LLM）的大量冗余注意力头剪枝置零，可显著抑制模型对训练数据的逐字记忆。该方法无需重新训练模型或修改训练数据。在GPT-2-XL（1.5B）模型上的评估结果显示，剪枝729个任务冗余头使记忆数量减少了91.5%，同时将WikiText-103的困惑度改善了0.92。
AI が報道をもとに生成 · 3 時間前 更新
最新の進展11月2日 13:00
arXiv新研究提出在推理前剪枝冗余注意力头，无需重训即可使GPT-2-XL逐字记忆减少91.5%。報道タイムライン
報道をたどり、出来事のさまざまな側面を知る。
11月2日
- arXiv 自然语言处理更少的注意力头，更少的记忆：剪枝冗余注意力头抑制逐字记忆
在推理前将大语言模型的大量冗余注意力头剪枝置零，可显著抑制对训练数据的逐字记忆，且无需重新训练或修改训练数据。在 GPT-2-XL(1.5B) 上的评估显示，剪枝 729 个任务冗余头使记忆数量减少 91.5%，同时将 WikiText-103 困惑度改善了 0.92。
このストーリーのホット度の推移
現在のホット度 9·比較可能範囲のピーク 10（11月2日 14:00）·直近24時間の比較可能な変化–
トレンドは継続して完全に観測した同じ主体のみを比較するため、現在のホット度の集計より範囲が狭い場合があります。ポインターの移動やタップで1時間ごとのホット度を確認でき、キーボードでは左右の矢印キーで切り替えられます。