arXiv 人工智能· Mohammed Saqlain·· 2 小时前AI 评分47
真实 PMID 却引错论文:生物医学断言验证 AI 智能体的框架设计研究
Real PMIDs, Wrong Papers: Harness Design for Biomedical Claim-Verification Agents
AI 导读
研究针对生物医学断言验证对比了四种评估框架,发现检索而非推理是当前 AI 智能体的核心瓶颈。让模型自主构建 PubMed 查询可使黄金论文召回率提升至 3 倍并取得 62% 的准确率,而在直接提供黄金摘要时准确率可达 79-86%。引用审计显示闭源生成引用的 PubMed ID 真实存在率达 327/335 但仅 3 篇相关,相关代码和提示词已开源。
来源:arXiv 人工智能 · arxiv.org