arXiv 自然语言处理· Sangdo Han (CEO Business School), Moonsoo Kim (CEO Business School)·· 16 時間前AI スコア59
研究揭示更换 LLM 裁判模型会导致系统排名显著变动
Swapping the Judge Changes the Ranking: A Preregistered Study of Cross-Provider Replication in LLM-Judged System Comparisons
未翻訳のため中国語で表示しています。
AI ガイド
一项针对 LLM 裁判跨供应商复验的研究表明，更换裁判模型会导致大语言模型系统对比排名显著变动，裁判与人类裁决的一致性偏低（中位数 Cohen's kappa 仅为 0.22）。
出典：arXiv 自然语言处理 · arxiv.org