The Decoder· Jonathan Kemper·· 3 小时前精选AI 评分73
研究表明复杂的 Harness 框架显著增加编程智能体成本但未提升表现
Fancy harnesses make coding agents more expensive but not better, study finds
AI 导读
一项针对编程智能体框架的研究发现，复杂的 Harness 设计并未在基准测试中带来显著性能提升，反而因庞大提示词将单任务成本推高至三倍。研究人员测试了 Claude Code、OpenCode 和仅提供 Bash 工具的 mini-SWE-agent，发现在 SWE-bench Verified 上框架间的解题差距大多处于重复运行的测量噪声范围内。
推荐理由
该研究对比了不同智能体框架的实际开销与解题率，揭示了基准测试噪声与复杂系统提示词带来的高昂成本。
来源：The Decoder · the-decoder.com