arXiv 人工智能· Zhiyong Cao, Hengjie Zhu, Yongxin Wang, Xuchen Li, Jintao Li, Shuxia Liu, Dunqiang Liu, Bo Wang, Kairan Zhang, Cong Lin, JiangDi Yu, Siyuan Liu, Sijia Yao, Yi-Liang Wei, Lingxu Ma, Aijia Wang, Anxin Chen, Zixian Wei, Xiang Ruan, Ruizhi Xu, Ruqian Shi, Baihua Xiao, Sicheng Zhou·· 10 小时前AI 评分46
TraceTrial-Bench：评测 AI 智能体运行框架的可靠性与故障归因
Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution
AI 导读
TraceTrial-Bench 是一套评测 AI 智能体运行框架可靠性与故障归因的基准，从上下文、执行等 7 个维度构建了 95 个专家级任务。评测覆盖 4 个运行框架、9 个模型的 3,420 次运行，框架宏平均得分在 59.8% 至 72.0% 之间。结果显示 31.1% 的运行虽未满足至少一项框架标准仍取得任务成功，为框架故障诊断提供了可审计依据。
来源：arXiv 人工智能 · arxiv.org