arXiv 自然语言处理· Jiayu Feng·· 8 小时前AI 评分39
数字正确但辖区错误？评测 LLM 政策召回中的跨辖区替换
Right Number, Wrong State? Measuring Cross-Jurisdiction Substitution in LLM Recall of State Policy
AI 导读
最新研究评测了大语言模型在召回美国 51 个辖区医疗补助资格政策时的跨辖区替换错误。在 153 项测试中，Claude Sonnet 5.5 与 GPT-5.6 Sol 分别在 10 项和 25 项中可复现地输出了其他州的真实数值。研究指出许多数值实为目标州的历史旧值或不同口径数据，若缺乏完整同州参考集，跨辖区替换判定会被高估 3-5 倍。
来源：arXiv 自然语言处理 · arxiv.org