研究者提出基于项目反应理论的LLM裁判聚合方法AGORA
Start here
2026年11月5日，研究人员在arXiv发表论文，提出了一种基于项目反应理论的大语言模型裁判可靠性感知聚合方法AGORA。该方法可在无需人工标注的情况下，联合所有样本评估大模型裁判的可靠性。实验显示，在3个评测基准上，AGORA在大型评测集中的表现达到或超越了Dawid-Skene方法；当评测集规模缩减至数百项且裁判水平参差不齐时，其性能优势更为突出。此外，该方法提出的无标签离散度指标可提前预判信任加权的收益，所学到的权重也能精准追踪各个裁判的人工有效性。
AI-generated from reports · Updated 5 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能AGORA：基于项目反应理论的大语言模型裁判可靠性感知聚合方法
研究人员提出基于项目反应理论的聚合方法 AGORA，可在无需人工标签的情况下联合所有样本评估大语言模型裁判的可靠性。在 3 个评测基准上，AGORA 在大型评测集中的表现达到或超越 Dawid-Skene，并在评测集缩减至数百项及裁判水平参差不齐时优势更显著。此外，其无标签离散度指标可提前预判信任加权收益，学到的权重也能精准追踪各个裁判的人工有效性。
Story heat trend
Current heat 9·Comparable peak 10（Nov 5 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.