arXiv 人工智能· Shan Peng, Shuaiqi Cheng, Miao Peng, Chenyi Zi, Jia Li·· 10 小时前AI 评分49
DMAIC-Bench:多阶段分析任务中智能体从自我反思到自我克制
DMAIC-Bench: From Self-Reflection to Self-Restraint for Agents in Multi-Stage Analytical Tasks
AI 导读
DMAIC-Bench 基准用于评估大语言模型智能体在多阶段分析任务中依据中间证据停止或调整路线的自我克制能力。在 6 家供应商的 13 个模型测试中,智能体在 GO 决策上的平均执行路由准确率达 92%,但在应停止的 NO-GO 决策上仅为 19%。盲审专家评估显示,智能体在 47% 的 NO-GO 决策中仍基于无效证据执行了后续分析,目前项目代码和数据已公开。
来源:arXiv 人工智能 · arxiv.org