arXiv 自然语言处理· Rajeel Ahmad Ansari, Tautik Agrahari·· 4 小时前AI 评分36
不确定性何时能衡量 RAG 模型幻觉风险
When Does Uncertainty Measure RAG Hallucination Risk?
AI 导读
研究表明不确定性仅在检索证据约束回答时才能有效衡量 RAG 模型幻觉风险，检索覆盖不足时模型会依赖内部知识生成无支持内容。在 HotpotQA 和 SQuAD 评测中，针对无支持编辑的困惑度指标达到 0.81-0.91 AUROC。结合不确定性与语义漂移评分可改善校准效果，且在 RAGTruth QA 上保持高于随机水平的检测表现。
来源：arXiv 自然语言处理 · arxiv.org