arXiv 自然语言处理· Yinuo Liu·· 13 hours agoAI score60
论文揭示长文本检索失效源于注意力竞争而非输入长度
Length Is Cheap, Competition Is Not: Attention Predicts Context Rot in Retrieval
Not yet translated; shown in Chinese.
AI guide
研究表明大模型在长输入检索中的性能衰减主要源于语义竞争而非上下文长度本身。在 5 款 0.5B 至 3B 开源模型测试中，中性填充内容在 32K tokens 下准确率仍维持在 0.97 至 1.00，而引入竞争语句后准确率暴跌至 0.16 至 0.33。留存目标证据上的注意力权重可解释高达 58% 的损失方差，作者已开源探测工具与 12.6 万次试验测量数据。
Source:arXiv 自然语言处理 · arxiv.org