arXiv 自然语言处理· Jorma Valjakka, Juhani Kivim\"aki, Juha Myll\"ari, Jukka K. Nurminen·· 2 小时前AI 评分41
模型幻觉检测基准中的标注问题实证评估
The Labeling Problem in Hallucination Detection Benchmarks: An Empirical Evaluation
AI 导读
一项针对大语言模型幻觉检测基准的研究表明，自动标注策略在参考答案忠实度与事实正确性标准间存在显著分歧与定向误差偏差。研究基于 3 个 QA 数据集和 3 个生成模型的 900 个问答对，评测了词汇相似度、NLI 基线及 7 个 LLM 裁判。结果显示，将提示词调整为事实正确性导向可显著提升与人工标注的一致性并降低假阳性率。
来源：arXiv 自然语言处理 · arxiv.org