arXiv 自然语言处理· Gnaneswar Villuri, Hashmath Shaik, Alex Doboli·· 10 小时前AI 评分47
首个 Token 并非最终裁决：直接读取 LLM 裁判的隐性代价
The First Token Is Not the Verdict: Hidden Costs of Reading LLM Judges Without Generating
AI 导读
研究表明，通过首个 token 的 logits 直接读取 LLM 裁判结果会单向夸大位置偏差。千问（Qwen3）等模型在 12% 至 49% 的样本中并未首发裁决 token，强制读取会默认倾向先展示的选项，导致位置偏差失真达 42 个百分点，而对裁判准确率影响不足 1 个百分点。研究建议在报告位置偏差时同步汇报模型以裁决 token 开头的比率。
来源：arXiv 自然语言处理 · arxiv.org