arXiv 人工智能· Dikshant Kukreja, Gautam Gupta, Avni Mittal, Avinash Anand, Kritarth Prasad, Zhengkui Wang, Timothy Liu, Rajiv Ratn Shah, Aik Beng Ng, Simon See, Erik Cambria·· 5 小时前AI 评分45
入侵路径：非证据上下文如何降低语言模型性能
The Intrusion Pathway: How Non-Evidential Context Degrades Language Model Performance
AI 导读
语言模型在包含无关上下文时性能下降源于“入侵路径”（Intrusion Pathway），该干扰被定位至一组稀疏的入侵头（intrusion heads）。通过 oracle probe 替换受损末尾 token 残差，在 4 个下游任务中平均恢复了 97.6% 的干扰损失。掩码剔除约 10 个入侵头（约占注意力头的 1%），能以受限代价恢复 57% 的性能。
来源：arXiv 人工智能 · arxiv.org