arXiv 自然语言处理· Ivan Kochergin, Vasily Konovalov·· 5 hours agoAI score42
检索器越强标注越差：不完整相关性标注如何扭曲对话式 RAG 的拒答评估
Better Retrievers, Worse Labels: How Incomplete Relevance Judgments Distort Abstention Evaluation in Conversational RAG
Not yet translated; shown in Chinese.
AI guide
研究表明，对话式 RAG 评测若将未检索到黄金文档直接视为不可回答，会严重扭曲拒答评估。检索器越强（nDCG@10 从 .18 升至 .59），无黄金文档却包含答案的比例高达 28%–72%，Qwen3-4B 能答对其中 62%–67%。该偏差致使可回答性 AUROC 最多被低估 .19，团队建议基于内容标注评估拒答，并开源了代码与数据。
Source:arXiv 自然语言处理 · arxiv.org