本文へスキップ
原文
AITNT · AI头条(网页)·· 3 時間前AI スコア65

复旦等机构提出长程代码评测基准 LoLBench:实测 28 种 Agent 组合最高交付率仅 14%

5000词需求文档,Claude也只能交付14%!实测28种Agent组合

未翻訳のため中国語で表示しています。

AI ガイド

复旦大学、香港城市大学和香港中文大学等机构提出面向复杂系统模块开发的代码评测基准 LoLBench,用于评估 Agent 从功能提案到模块交付的完整能力。在测试 6 个前沿模型与 5 个脚手架构成的 28 种 Agent 组合中,最高解决率仅 14%(Opus 5 配合 Claude Code 或 mini-SWE-agent),组合中位数仅 2%。

出典:AITNT · AI头条(网页) · aitntnews.com