Skip to content
Hot storiesContinuously updated

研究团队发布科学证据推理基准EDB-Bio及Ibis0模型

1 reports1 reporting sourcesUpdated 3 hours ago

Start here

AI overview

2026年11月,研究团队发布了用于评估大语言模型科学证据推理能力的基准EDB-Bio。该基准涵盖3个生物领域的96k个序列。评估结果显示,开源模型和前沿模型在开箱状态下均存在系统性欠自信的问题。为此,研究团队采用严格真评分规则进行后训练,开发了Ibis0模型,显著提升了校准度,其在序列实验选择任务中的效率达到了最佳前沿模型的2.5倍。目前,该项研究涉及的所有代码、数据以及训练模型均已完全开源。

AI-generated from reports · Updated 3 hours ago

Report timeline

Follow the reports to see different sides of the story.

Nov 2
  1. arXiv 机器学习
    大语言模型能否识别令人信服的科学证据?

    研究团队推出评估科学证据推理能力的基准 EDB-Bio,包含 3 个生物领域的 96k 个序列,发现开源和前沿模型开箱时均存在系统性欠自信。经严格真评分规则后训练后,团队开发的 Ibis0 模型校准度显著提升,在序列实验选择任务中效率达最佳前沿模型的 2.5 倍。该研究的所有代码、数据及训练模型均已开源。

Story heat trend

Current heat 9·Comparable peak 10(Nov 2 14:00)·Comparable change, last 24 hours–

02.557.510Nov2Nov2Nov2Nov2

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.