arXiv 人工智能· Shunchao Zhou, Chang Yang, Jingrui Wang, Shuxin Zhuang, Rundong Wang, Runsheng Yu, Xinrun Wang·· 1 天前AI 评分37
AlphaIdeaBench:在可行性约束与同行评审对齐下的自动化科研构想评测基准
AlphaIdeaBench: Benchmarking Automated Research Idea Generation under Feasibility Constraints with Peer Review Alignment
AI 导读
AlphaIdeaBench 构建了 100 个配有明确资源预算的科研构想任务,利用 LLM 裁判在有效性、新颖性与可行性等 12 个维度打分。经 600 篇顶会论文同行评审验证,Gemini 3.7 Flash 在问题与方法新颖性上与人类评分差距 1 分以内的比例达 94-97%。在框架评测中 CoI-Agent 获得最高总分,SciMON 在方法与见解新颖性上领先。
来源:arXiv 人工智能 · arxiv.org