The Decoder· Jonathan Kemper·· 10 日前厳選AI スコア73
研究表明复杂的 Harness 框架显著增加编程智能体成本但未提升表现
Fancy harnesses make coding agents more expensive but not better, study finds
未翻訳のため中国語で表示しています。
AI ガイド
一项针对编程智能体框架的研究发现,复杂的 Harness 设计并未在基准测试中带来显著性能提升,反而因庞大提示词将单任务成本推高至三倍。研究人员测试了 Claude Code、OpenCode 和仅提供 Bash 工具的 mini-SWE-agent,发现在 SWE-bench Verified 上框架间的解题差距大多处于重复运行的测量噪声范围内。
推薦理由
该研究对比了不同智能体框架的实际开销与解题率,揭示了基准测试噪声与复杂系统提示词带来的高昂成本。
出典:The Decoder · the-decoder.com