arXiv 人工智能· Zihao Zheng (Washington University in St. Louis), Junyi Yao (Washington University in St. Louis), Baichuan Li (Southern Methodist University), Jiayu Long (Washington University in St. Louis)·· 9 小时前AI 评分34
医疗 LLM 智能体升级可靠性审计:工作流状态故障的扰动控制基准
Auditing Escalation Reliability in Healthcare LLM Agents: A Perturbation-Controlled Benchmark of Workflow-State Failures
AI 导读
研究人员构建了包含 400 个医疗工作流回合的评估基准,测试 1.7B-9.7B 规模开源模型在证据异常时的升级可靠性。测试显示模型干净状态下决策准确率达 0.97,但经不确定性提示后会遗漏 32%-97% 的必要升级,且 9.7B 模型在冲突状态下准确率降至 0.78。工作流感知控制器虽将遗漏率降至 0.12-0.24,但在词汇压力测试中泛化能力明显受限。
来源:arXiv 人工智能 · arxiv.org