论文解析大模型上下文更新失效与陈旧绑定机制

研究团队针对大语言模型在上下文发生变化时误用旧信息的“陈旧绑定”问题，提出了评测基准 CICM 并解析其失效机制。研究发现模型即使记住了更新值，也会因“注意力漂移”将注意力偏向多个旧值，导致前沿推理模型同样出现状态恢复失败。基于单层 Transformer 机制分析，研究提出一种无需额外训练的注意力重定向方法，在直接请求当前值时修正了多种开源模型系列中的绝大多数旧值错误。