研究者提出基于项目反应理论的LLM裁判聚合方法AGORA

2026年11月5日，研究人员在arXiv发表论文，提出了一种基于项目反应理论的大语言模型裁判可靠性感知聚合方法AGORA。该方法可在无需人工标注的情况下，联合所有样本评估大模型裁判的可靠性。实验显示，在3个评测基准上，AGORA在大型评测集中的表现达到或超越了Dawid-Skene方法；当评测集规模缩减至数百项且裁判水平参差不齐时，其性能优势更为突出。此外，该方法提出的无标签离散度指标可提前预判信任加权的收益，所学到的权重也能精准追踪各个裁判的人工有效性。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。