arXiv 人工智能· Jiarui Yao, Ruida Wang, Tong Zhang·· 8 小时前AI 评分46
OpenFrontiers:开放研究问题语料库与科学重新发现评测基准
OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery
AI 导读
研究人员推出跨学科资源 OpenFrontiers,包含 12,151 个开放研究问题语料库及包含 200 道数学题的回顾性基准。基准题目均提供经审查的 Lean 4 形式化陈述,并在隔离沙箱中评测闭卷、冻结检索与联网条件下的形式化证明。在 HQ-50 子集上评测 7 个 LLM 智能体发现,闭卷重新发现极少(40 题中至多解出 7 题),联网成功则主要来自检索已有解法。
来源:arXiv 人工智能 · arxiv.org