arXiv 人工智能· Daniel Furman, Preeya Kirani, Ibrahim Sheikh, Zhen Li, Peter Zhong, Michele Catasta·· 8 小时前精选AI 评分69
ViBench 2.0 评测基准发布：针对长程软件构建评估代码智能体端到端交付能力
ViBench 2.0: A Benchmark for Long-Horizon Software Building
AI 导读
Replit 团队推出长程软件构建评测基准 ViBench 2.0，涵盖 17 个全栈 Web 产品与 241 个功能请求，用于评估模型端到端交付完整软件的能力。
推荐理由
原文揭示了单项测试通过率与全栈交付之间的可靠性差距，为评估代码智能体长程工程能力提供了端到端衡量方法。
来源：arXiv 人工智能 · arxiv.org