arXiv 自然语言处理· Minsu Oh, Seunghui Jwa, Soo Kyun Kim, Yeo-Chan Yoon·· 11 小时前AI 评分38
采集日期赋值会改变时间问答的模型回答
Collection-Date Assignment Redirects Answers in Temporal QA
AI 导读
在证据内容未变的情况下,仅调换采集日期元数据便会导致 5 款开源 LLM 在维基百科时间问答中的精确匹配率(EM)下降 37.6-51.4 个百分点。前一日调换仍产生 29.0-39.6 个百分点的损失,且包含忽略采集指令在内的 7 种提示词变体均无法消除该影响。配对思考则使 Qwen3.5 的损失从 30.1 分降至 11.1 分。
来源:arXiv 自然语言处理 · arxiv.org