arXiv 自然语言处理· Xanh Ho, Andr\'{e} Greiner-Petter, Florian Boudin, Yun-Ang Wu, Sunisth Kumar, Tian Cheng Xia, Hiba Akbi, Tim Schopf, Akiko Aizawa·· 4 小时前AI 评分34
NTCIR-19 SciClaimEval 任务概览：科学论文跨模态断言验证
Overview of the NTCIR-19 SciClaimEval Task: Cross-modal Claim Verification in Scientific Papers
AI 导读
NTCIR-19 推出 SciClaimEval 评测任务，基于 180 篇论文评估多模态大语言模型结合图表验证科学断言的能力。参赛系统多采用提示词与多阶段推理，最佳系统配对准确率达 98.1%，开源权重模型表现可匹敌闭源模型。但独立验证单个断言证据时，最佳系统得分低 24.3 个百分点，实际验证仍是开放难题。
来源：arXiv 自然语言处理 · arxiv.org