arXiv 人工智能· Youran Sun, Xingyu Ren, Chugang Yi, Kejia Zhang, Di Wu, Yingkang Cao, Allen Zhou, Jianping Ye, Suying Liu, Jiaxuan Guo, Jianda Du, Weicheng Ye, Kecheng Liu, Hefan Zhang, Haixin Wang, Jie Xiao, Eric Yang, Haizhao Yang·· 1 天前AI 评分49
SciΠvot：评测科学自主研究智能体关键时刻的主持人判断力
Sci$\Pi$vot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents
AI 导读
研究人员构建了基于人类干预修正的科学判断力评测基准 SciΠvot，包含来自 6 个领域 26 个项目、历时 6 个月记录的 248 个案例。在提供项目记录且中等推理强度下，5 款前沿模型中有 4 款表现低于随机水平，且系统性偏好原始 LLM 方案。测试中模型最高准确率仅为 63.5%，低于新研究人员的 73.4%。
来源：arXiv 人工智能 · arxiv.org