AGORA：基于项目反应理论的大语言模型裁判可靠性感知聚合方法

研究人员提出基于项目反应理论的聚合方法 AGORA，可在无需人工标签的情况下联合所有样本评估大语言模型裁判的可靠性。在 3 个评测基准上，AGORA 在大型评测集中的表现达到或超越 Dawid-Skene，并在评测集缩减至数百项及裁判水平参差不齐时优势更显著。此外，其无标签离散度指标可提前预判信任加权收益，学到的权重也能精准追踪各个裁判的人工有效性。