arXiv 自然语言处理· Ayana Niwa, Miyu Yamada, Kouta Nakayama, Masahiro Kaneko, Hisami Suzuki, Satoshi Sekine·· 7 小时前AI 评分34
重新审视大语言模型事实核查器的评测
Rethinking the Evaluation of LLM Fact-Checkers
AI 导读
研究团队推出日语事实核查评测基准 JSFactCheckBench，包含提取自大语言模型回答的 1,913 条声明及预选网络证据。对 6 个 LLM 的测试显示，所有模型核查直接回答核心问题的声明准确率均低于补充声明，且面对较长或多来源证据时得分下降。加入周边问答上下文后，全部 4 个开源模型的得分均出现下滑。
来源：arXiv 自然语言处理 · arxiv.org