跳到正文
热点事件持续更新

研究团队提出医疗LLM智能体升级可靠性评测基准

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

研究人员构建了包含400个医疗工作流回合的评估基准,用于测试1.7B至9.7B规模开源模型在证据异常时的升级可靠性。评测结果显示,模型在干净状态下的决策准确率可达0.97;但在受到不确定性提示扰动后,模型会遗漏32%至97%的必要升级,且9.7B模型在冲突状态下的准确率会降至0.78。此外,研究测试的工作流感知控制器虽能将升级遗漏率降至0.12至0.24,但在词汇压力测试中其泛化能力出现明显受限。

AI 根据报道生成 · 6 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. arXiv 人工智能
    医疗 LLM 智能体升级可靠性审计:工作流状态故障的扰动控制基准

    研究人员构建了包含 400 个医疗工作流回合的评估基准,测试 1.7B-9.7B 规模开源模型在证据异常时的升级可靠性。测试显示模型干净状态下决策准确率达 0.97,但经不确定性提示后会遗漏 32%-97% 的必要升级,且 9.7B 模型在冲突状态下准确率降至 0.78。工作流感知控制器虽将遗漏率降至 0.12-0.24,但在词汇压力测试中泛化能力明显受限。

本事件热度走势

当前热度 9·可比范围峰值 10(10月16日 13:00)·近 24 小时可比范围变化 –

02.557.51010月16日13:0010月16日14:0010月16日16:0010月16日17:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。