arXiv 机器学习· Yang Ba, Michelle V. Mancenido, Rong Pan·· 14 小时前AI 评分39
我们能否信任这种评估？LLM-as-a-Judge 的样本级可靠性研究
Can We Trust This Evaluation? Instance-Level Reliability of LLM-as-a-Judge
AI 导读
研究人员提出了无需标签的评估可靠性估计方法 SCUR，通过裁判团行为评估 LLM-as-a-judge 在单样本上的可靠程度。该方法以潜在测量模型为骨干，整合裁判团不确定性、测量交叉熵和扰动敏感度三种信号生成风险评分。在 5 个真实基准上的测试表明，SCUR 能更有效地检测出高共识风险样本。
来源：arXiv 机器学习 · arxiv.org