arXiv 自然语言处理· Tianyun Zhong, Wei Wang, Jialin Li, Jianhong Tu, Liyao Li, Chuqiao Kuang, Tianshi Zheng, Songchi Zhou, Weiqi Zhai, Qile Jin, Jiajia Li, Jiasheng Zheng, Boxi Cao, Yaojie Lu, Hongyu Lin, Shiwei Ye, Bing Zhao, Hu Wei, Lin Qu, Xianpei Han·· 9 小时前AI 评分41
SCI-AGENT-EXAM：面向科研任务的 AI 智能体评测基准
SCI-AGENT-EXAM: Benchmarking Agents on Scientific Research Tasks
AI 导读
研究团队推出科研工作流评测基准 SCI-AGENT-EXAM，涵盖 11 个科学领域和 7 类任务的 120 个专家精选任务。在对 10 个前沿 LLM 智能体的测试中，GPT-6 Astra 获得最高综合分 80.9，但仅 26.0% 的运行超过 0.95 成功阈值。该基准采用程序验证与 LLM 评判相结合的混合评估协议，代码与数据已公开。
来源：arXiv 自然语言处理 · arxiv.org