arXiv 人工智能· Idunnuoluwa A. Adeniji, Shilpika, Michael E. Papka·· 8 小时前AI 评分42
轨迹呈现与标签断言:AI 智能体评测中的行为检测器审计
What the Trace Shows and What the Label Says: Auditing Behavioral Detectors in Agent Evaluation
AI 导读
研究人员针对 LLM 智能体评测中将执行轨迹简化为标签的做法展开审计,发现自动化行为检测器与实际轨迹存在系统性偏差。在 GSM8K 工具调用实验中,模型常静默覆盖被污染的计算器输出而未被验证检测器捕获;人工复核 90 条轨迹显示验证标签准确率仅为 67/81。团队提出应提升评测测量透明度,并推出了配套的轨迹查看器。
来源:arXiv 人工智能 · arxiv.org