arXiv 自然语言处理· Sangdo Han, Moonsoo Kim·· 2 小时前AI 评分49
无标注评分标准澄清可提高 LLM 裁判共识，但未增加与人类的一致性
Agreement Without Alignment: Label-Free Rubric Clarification Increases LLM-Judge Consensus but Not Agreement with Humans
AI 导读
研究测试了一种无标签评分标准修改流程，通过分解评分细则并让编辑器模型重写裁判间分歧最大的条款，以改善 LLM 裁判表现。在 SummEval 上进行的 129,770 次裁判请求评测显示，该流程将裁判间 Krippendorff's α 提高了 0.069，但与人类专家评分的一致性没有可检测到的改变（Kendall τ 差异 -0.007）。
来源：arXiv 自然语言处理 · arxiv.org