arXiv 自然语言处理· Haozheng Liu, Zhaoqian Xue, Zhongyin Wang, Junting Mu, Zihui Ma, Shuya Feng, Lingyao Li·· 4 小时前AI 评分42
将决策模型作为模型幻觉检测裁判
Decision Models as Judges for Hallucination Detection
AI 导读
研究提出使用决策模型作为低成本裁判检测模型幻觉，并在 9,852 条测试集上对比了 5 个决策模型与 gpt-6-sol。最佳决策模型在上下文不一致上的平衡准确率与 gpt-6-sol 持平，事实错误相差 3 个百分点以内，但逻辑与指令不一致落后 4-8 个百分点。构建决策模型置信度级联可提升 1.9-3.3 个百分点，仅用 1-3% 的成本即可达到或超过 gpt-6-sol。
来源：arXiv 自然语言处理 · arxiv.org