基于检索的长文本医疗事实核查为何失效?错误归因分类体系研究
在大模型高风险临床应用中,基于检索的事实核查已成为检测模型幻觉的主流范式。然而现有系统多依赖F1等汇总指标,遮蔽了核查失败的具体环节与原因,且传统RAG诊断往往依赖昂贵的标准答案或人工标注证据。针对长文本医疗问答的事实核查场景,该研究通过自动归纳构建了双重错误分类体系,能够细粒度剖析检索增强评估系统的具体失效模式,为提升医疗AI可解释性与评测可靠性提供了新工具。
推荐理由针对医疗大模型事实核查中宏观指标难以诊断具体失效环节的痛点,提出了细粒度错误分类体系,对优化医疗RAG系统评测具备参考价值。
原标题:Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification
阅读 arXiv 自然语言处理 原文 ↗