arXiv 人工智能· Zeyu Zheng, Yiyang Liu, Yuyang Zhao, Congmin Zheng, Jiachen Zhu, Jianian Chen, Kangning Zhang, Kayue Daniel Wong, Lingyu Yang, Rong Shan, Shihao Chen, Thomas Zhu, Wentao Zhang, Xiaopeng Li, Yan Hu, Yongxi Lin, Yuxiang Chen, Zhuoying Ou, Jianghao Lin, Jeremy Avigad, Prasad Tetali, Jingbang Chen, Sean Welleck·· 3 小时前AI 评分45
ReuF2F：在形式化本科科研问题上评测代码智能体
ReuF2F: Benchmarking Coding Agents on Formalized Undergraduate Research Problems
AI 导读
研究人员推出形式化数学评测基准 ReuF2F，包含源自本科科研项目的 244 个 Lean 4 形式化开放问题，用于评估代码智能体的端到端解题能力。评测将问题及其逻辑否定置于 Docker 容器内的 Lean 项目中，并基于 mini-SWE-agent 构建了统一评估框架 Leanimum-agent。测试显示当前表现最佳的模型仅解决约 40% 的问题。
来源：arXiv 人工智能 · arxiv.org