arXiv 自然语言处理· Rounak Sen, Divya Kumari, Deeksha Varshney·· 15 hours agoAI score39
大模型幻觉检测自动标注研究：当基准真值名不副实
When Ground Truth Is Not Ground Truth: Automatic Labeling for Hallucination Detection
Not yet translated; shown in Chinese.
AI guide
一项针对大语言模型（LLM）幻觉检测的研究表明，利用相似度指标自动构建基准真值标签存在严重可靠性缺陷。在涵盖 15 个自动监督裁判、7 个检测基线和 5 种语言的评测中，检测器表现因裁判选择产生剧烈差异。人工验证显示 QGen-9B 整体误分类率最低（12.86%），而 BLEURT 与 BLEURT-n 误分类率分别高达 47.23% 和 47.32%。
Source:arXiv 自然语言处理 · arxiv.org