arXiv 人工智能· Daniel Furman, Preeya Kirani, Ibrahim Sheikh, Zhen Li, Peter Zhong, Michele Catasta·· 9 時間前厳選AI スコア69
ベンチマーク「ViBench 2.0」が公開：長期にわたるソフトウェア構築においてコードエージェントのエンドツーエンドのデリバリー能力を評価
ViBench 2.0: A Benchmark for Long-Horizon Software Building
AI ガイド
Replitチームは、長期的なソフトウェア構築向け評価ベンチマーク「ViBench 2.0」を発表した。17のフルスタックWebプロダクトと241件の機能リクエストを網羅し、完全なソフトウェアをエンドツーエンドでデリバリーするモデルの能力を評価する。
推薦理由
元記事では、単一テストの合格率とフルスタックデリバリーの間にある信頼性のギャップが明らかにされており、コードエージェントの長期的なエンジニアリング能力を評価するエンドツーエンドの測定手法を提供している。
出典：arXiv 人工智能 · arxiv.org