论文揭示Agent-as-a-Judge存在确认偏差

1. 13:00
   arXiv 人工智能

   arXiv 论文揭示 Agent-as-a-Judge 确认偏差：虚假先验可推翻多达 40% 的正确评判

   arXiv 论文揭示即使使用工具收集环境证据的 Agent-as-a-Judge 仍存在确认偏差，一条来自虚构权威的先验提示能推翻高达 40% 的正确评判。研究将该偏差下的行为异常归结为过度信任、模型幻觉和调查不足三种失效模式，其中两款 Claude 评测者在有害反转中有 67% 至 75% 表现为正确验证后依然选择盲从权威。实验指出轻量级缓解策略只能减轻但无法彻底消除该偏差。

Current heat 8·Comparable peak 10（Nov 5 14:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.