arXiv 自然语言处理· Kuan-Hua Wu Lu, Yohanes Andre Setiawan·· 7 小时前AI 评分39
LLM 事实核查器防后见之明：衡量虚假信息检测中的信息泄露途径
No Hindsight for LLM Fact-Checkers: Measuring Leakage Channels in Misinformation Detection
AI 导读
一项针对 AVeriTeC 和 QuanTemp++ 基准的研究发现，大语言模型（LLM）事实核查器因预训练记忆与声明发布后检索证据两种泄露途径而高估了性能。在 AVeriTeC 上，允许声明后证据使零样本准确率虚增 6.3 点，而在 QuanTemp++ 上的影响则微乎其微。研究表明，简单的表征瓶颈能比互信息训练惩罚更高效地减少此类未来信息泄露。
来源：arXiv 自然语言处理 · arxiv.org