arXiv 自然语言处理· Louise Yorke·· 8 小时前AI 评分45
综合得分背后：系统性调整 Arena-Hard 的 LLM 裁判揭示了什么
Behind Aggregate Scores: What Systematically Varying Arena-Hard's LLM Judge Reveals
AI 导读
研究表明，以 GPT-4.1 为裁判评估 500 个 Arena-Hard v2.0 提示词时，相近的综合得分掩盖了单项判决的显著变化。在温度为 0 的默认设置下重复运行，综合得分虽仅变动约 1 分，却改变了 21.2% 提示词的胜平负结果。去除推理等提示词调整更令总分下降 4.09 分，证实稳定的综合得分无法证明单项裁决具有可重复性。
来源：arXiv 自然语言处理 · arxiv.org