热点事件持续更新
研究揭示LLM裁判综合得分掩盖单项裁决显著波动
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
2026年10月23日，arXiv发表的一项针对 Arena-Hard 的 LLM 裁判系统性调整研究指出，以 GPT-4.1 为裁判评估 500 个 Arena-Hard v2.0 提示词时，相近的综合得分掩盖了单项判决的显著变化。研究发现，在温度为 0 的默认设置下重复运行测试，综合得分虽然仅变动约 1 分，却导致 21.2% 的提示词胜平负结果发生改变。此外，去除推理等提示词调整使总分进一步下降 4.09 分。该研究证实，看似稳定的综合高分并不能证明单项裁决具备可重复性。
AI 根据报道生成 · 7 小时前更新
最新进展10月23日 12:00
新研究指出GPT-4.1在温度为0下复跑综合得分仅差约1分，但改变了21.2%提示词的胜负结果。报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- arXiv 自然语言处理综合得分背后：系统性调整 Arena-Hard 的 LLM 裁判揭示了什么
研究表明，以 GPT-4.1 为裁判评估 500 个 Arena-Hard v2.0 提示词时，相近的综合得分掩盖了单项判决的显著变化。在温度为 0 的默认设置下重复运行，综合得分虽仅变动约 1 分，却改变了 21.2% 提示词的胜平负结果。去除推理等提示词调整更令总分下降 4.09 分，证实稳定的综合得分无法证明单项裁决具有可重复性。
本事件热度走势
当前热度 8·可比范围峰值 10（10月23日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。