arXiv 自然语言处理· Sangdo Han (CEO Business School), Moonsoo Kim (CEO Business School)·· 15 小时前AI 评分59
研究揭示更换 LLM 裁判模型会导致系统排名显著变动
Swapping the Judge Changes the Ranking: A Preregistered Study of Cross-Provider Replication in LLM-Judged System Comparisons
AI 导读
一项针对 LLM 裁判跨供应商复验的研究表明，更换裁判模型会导致大语言模型系统对比排名显著变动，裁判与人类裁决的一致性偏低（中位数 Cohen's kappa 仅为 0.22）。
来源：arXiv 自然语言处理 · arxiv.org