arXiv 人工智能· Siddharth Jain, Venkat N. Vedam·· 5 小时前AI 评分44
监控准确率并非关键：评估 AI Agent 重启监控器的决策价值框架
Monitor Accuracy Isn't the Answer: A Decision-Value Framework for Evaluating AI Agent Restart Monitors
AI 导读
研究提出评估 AI Agent 重启监控器的决策价值框架，指出仅靠准确率无法衡量重启效果，90% 准确率的监控器收益可在 -5 至 +35 个百分点间波动。团队为此提出决策充分性标准与无需额外模型调用的决策审计技术。在 SWE-bench Verified 的 194 次执行中，实测在第二模型上出现 42.29 个百分点损失，且 103 次对比无一达到认证标准。
来源：arXiv 人工智能 · arxiv.org