研究揭示不完整标注导致对话式RAG拒答评估失真
Start here
2026年11月2日，arXiv发表自然语言处理相关研究，指出对话式RAG评测若将未检索到黄金文档直接判定为不可回答，会严重扭曲拒答评估。研究发现，检索器性能越强（nDCG@10从.18升至.59），无黄金文档但实际包含答案的比例高达28%–72%，Qwen3-4B能答对其中62%–67%。该偏差导致可回答性AUROC最多被低估.19。研究团队建议基于内容标注来评估拒答，并已开源相关代码与数据。
AI-generated from reports · Updated 4 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 自然语言处理检索器越强标注越差：不完整相关性标注如何扭曲对话式 RAG 的拒答评估
研究表明，对话式 RAG 评测若将未检索到黄金文档直接视为不可回答，会严重扭曲拒答评估。检索器越强（nDCG@10 从 .18 升至 .59），无黄金文档却包含答案的比例高达 28%–72%，Qwen3-4B 能答对其中 62%–67%。该偏差致使可回答性 AUROC 最多被低估 .19，团队建议基于内容标注评估拒答，并开源了代码与数据。
Story heat trend
Current heat 9·Comparable peak 10（Nov 2 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.