Skip to content
Hot storiesContinuously updated

NTCIR-19发布SciClaimEval科学断言跨模态验证评测结果

1 reports1 reporting sourcesUpdated 8 hours ago

Start here

AI overview

NTCIR-19 推出了跨模态断言验证评测任务 SciClaimEval，基于 180 篇论文评估多模态大语言模型结合图表验证科学断言的能力。评测结果显示，参赛系统多采用提示词与多阶段推理，最佳系统的配对准确率达 98.1%，开源权重模型表现可匹敌闭源模型。然而，在独立验证单个断言证据时，最佳系统得分比配对任务低 24.3 个百分点，表明实际验证仍是开放难题。

AI-generated from reports · Updated 8 hours ago

Latest developmentsNov 5 13:00
SciClaimEval评测概览发布，最佳系统配对准确率达98.1%，但独立验证断言仍有挑战。

Report timeline

Follow the reports to see different sides of the story.

Nov 5
  1. arXiv 自然语言处理
    NTCIR-19 SciClaimEval 任务概览：科学论文跨模态断言验证

    NTCIR-19 推出 SciClaimEval 评测任务，基于 180 篇论文评估多模态大语言模型结合图表验证科学断言的能力。参赛系统多采用提示词与多阶段推理，最佳系统配对准确率达 98.1%，开源权重模型表现可匹敌闭源模型。但独立验证单个断言证据时，最佳系统得分低 24.3 个百分点，实际验证仍是开放难题。

Story heat trend

Current heat 8·Comparable peak 10（Nov 5 14:00）·Comparable change, last 24 hours–

02.557.510Nov5Nov5Nov5Nov5

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.