arXiv 自然语言处理· Aryan Chowdhury, Riza Batista-Navarro·2026-11-02 13:00· 3 小时前AI 评分36

更少的注意力头，更少的记忆：剪枝冗余注意力头抑制逐字记忆

Fewer Heads, Fewer Memories: Pruning Redundant Attention Heads Suppresses Verbatim Memorisation

AI 导读

在推理前将大语言模型的大量冗余注意力头剪枝置零，可显著抑制对训练数据的逐字记忆，且无需重新训练或修改训练数据。在 GPT-2-XL(1.5B) 上的评估显示，剪枝 729 个任务冗余头使记忆数量减少 91.5%，同时将 WikiText-103 困惑度改善了 0.92。