研究揭示大模型长文本检索失效源于注意力竞争
Start here
2026年11月4日，arXiv发布的一项自然语言处理研究指出，大模型在长输入检索中的性能衰减主要源于语义竞争，而非上下文长度本身。该研究在5款参数量为0.5B至3B的开源模型上进行了测试。结果显示，在中性填充内容下，即使上下文达到32K tokens，模型的检索准确率仍维持在0.97至1.00；然而一旦引入竞争语句，准确率便暴跌至0.16至0.33。进一步分析发现，留存在目标证据上的注意力权重可解释高达58%的损失方差。目前，作者已开源相关的探测工具以及涵盖12.6万次试验的测量数据。
AI-generated from reports · Updated 16 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理论文揭示长文本检索失效源于注意力竞争而非输入长度
研究表明大模型在长输入检索中的性能衰减主要源于语义竞争而非上下文长度本身。在 5 款 0.5B 至 3B 开源模型测试中，中性填充内容在 32K tokens 下准确率仍维持在 0.97 至 1.00，而引入竞争语句后准确率暴跌至 0.16 至 0.33。留存目标证据上的注意力权重可解释高达 58% 的损失方差，作者已开源探测工具与 12.6 万次试验测量数据。
Story heat trend
Current heat 6·Comparable peak 10（Nov 4 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.