跳到正文
热点事件持续更新

研究团队提出智能体评测基准DMAIC-Bench

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

2026年10月26日,研究团队在arXiv发布论文,提出评测基准DMAIC-Bench,旨在评估大语言模型智能体在多阶段分析任务中依据中间证据停止或调整路线的自我克制能力。在对6家供应商的13个模型测试中,智能体在GO决策上的平均执行路由准确率达到92%,但在应当停止的NO-GO决策上准确率仅为19%。盲审专家评估进一步显示,智能体在47%的NO-GO决策中仍会基于无效证据执行后续分析。目前,该项目的代码和数据均已公开。

AI 根据报道生成 · 8 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. arXiv 人工智能
    DMAIC-Bench:多阶段分析任务中智能体从自我反思到自我克制

    DMAIC-Bench 基准用于评估大语言模型智能体在多阶段分析任务中依据中间证据停止或调整路线的自我克制能力。在 6 家供应商的 13 个模型测试中,智能体在 GO 决策上的平均执行路由准确率达 92%,但在应停止的 NO-GO 决策上仅为 19%。盲审专家评估显示,智能体在 47% 的 NO-GO 决策中仍基于无效证据执行了后续分析,目前项目代码和数据已公开。

本事件热度走势

当前热度 8·可比范围峰值 10(10月26日 13:00)·近 24 小时可比范围变化 –

02.557.51010月26日13:0010月26日15:0010月26日17:0010月26日19:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。