Hacker News · AI· dvaplima·· 6 小时前AI 评分54
Vetto 推出科学数据分析评测基准 Vetto ScienceBench
Vetto ScienceBench: Expanding Scientific Capabilities of Frontier AI Models
AI 导读
Vetto 推出科学数据分析基准测试 Vetto ScienceBench,包含跨 14 个学科的 50 项真实分析任务以评估前沿模型判断力。在 13 款前沿模型的测试中,表现最好的模型仅通过 49% 的试验,多数模型失败率超过 80%,且有 5 项任务无模型解出。约三分之二的失败发生于模型已观测到数据异常后将其当作噪声忽略或用错模型,显示当前模型仍缺乏科研所需的审慎判断。
来源:Hacker News · AI · vetto.ai