arXiv 自然语言处理· Hongzhan Lin, Shidong Cao, Ziyang Luo, Wenhao Chai, Mong-Li Lee, Wynne Hsu·· 4 小时前AI 评分51
从证据到行动：使用工具的 AI 智能体如何发生失效
From Evidence to Action: How Tool-Using Agents Fail
AI 导读
研究团队提出 SafeActBench 评测基准，系统分析工具调用 AI 智能体在从决定行动到执行工作流过程中证据链断裂的原因。测试表明静态评估能力强的智能体在交互执行中往往明显衰退，失效多始于执行前的不完整调查或证据不足即行动，而在多动作工作流中更易出现前置依赖未满足等问题。该基准涵盖 6 个领域、5 种协议共 656 个测试案例，并引入证据账本与轨迹评估器追踪信息与动作依赖。
来源：arXiv 自然语言处理 · arxiv.org