研究揭示无关上下文致大模型性能下降机制
Start here
2026年11月6日，发表于arXiv的研究指出，语言模型在输入包含无关上下文时性能下降，源于模型内部的“入侵路径”（Intrusion Pathway）。该研究将这一干扰定位至一组稀疏的“入侵头”（intrusion heads）。实验显示，通过 oracle probe 替换受损末尾 token 残差，在 4 个下游任务中平均恢复了 97.6% 的干扰损失；同时，仅掩码剔除约 10 个入侵头（约占全部注意力头的 1%），就能以受限代价恢复 57% 的性能。
AI-generated from reports · Updated 4 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能入侵路径：非证据上下文如何降低语言模型性能
语言模型在包含无关上下文时性能下降源于“入侵路径”（Intrusion Pathway），该干扰被定位至一组稀疏的入侵头（intrusion heads）。通过 oracle probe 替换受损末尾 token 残差，在 4 个下游任务中平均恢复了 97.6% 的干扰损失。掩码剔除约 10 个入侵头（约占注意力头的 1%），能以受限代价恢复 57% 的性能。
Story heat trend
Current heat 9·Comparable peak 10（Nov 6 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.