arXiv 自然语言处理· Kirill Afendulev, Alexey Dontsov, Alla Chepurova, Elena Tutubalina, Anton Korznikov·· 7 小时前AI 评分46
上下文还是知识：LLM 如何归因自身给出的答案
Context or Knowledge: How LLMs Attribute Their Own Answers
AI 导读
大语言模型对答案来源是上下文还是自身参数知识的归因，因果依赖于生成答案时产生的问答 KV cache。一项针对 4 款 7B-32B 模型的干预研究显示，修改或删除文档 cache 不会改变归因报告，而移植问答 cache 则会转移该报告。在两款较小模型上，沿特定拟合方向干预问答 values 能反转 98.9-100% 的报告，随机方向反转率至多 1.1%。
来源：arXiv 自然语言处理 · arxiv.org