arXiv 人工智能· Harry Lyu, Neil Thompson·· 3 小时前AI 评分50
O*NET-BENCH 论文发布：LLM 作为职业裁判存在排序准确但接受率失真问题
Right Order, Wrong Scale: Auditing LLM Judges for Occupational AI Measurement
AI 导读
研究团队推出基于 45,796 项工人评价构建的评估套件 O*NET-BENCH，测试显示 LLM 裁判虽然排序表现尚可，但在任务接受率估算上与人类存在严重偏差。
来源：arXiv 人工智能 · arxiv.org