跳到正文
原文
arXiv 人工智能· Yangze Liu, Zhongyi Han·· 2 小时前精选AI 评分71

arXiv 研究:编码智能体外围框架对性能影响有限却导致高达 3 倍成本差异

What Does a Harness Buy? Tokens, Mostly

AI 导读

最新 arXiv 论文研究了固定模型下编码智能体外围框架(Harness)对基准测试与成本的实际影响,发现不同框架对 SWE-bench Verified 分数影响甚微,但会使单任务成本产生高达 3 倍的差距。

推荐理由

研究揭示了编码智能体框架对基准测试分数影响微弱却带来最高 3 倍成本差距,为框架选型与评测提供了量化参考。

来源:arXiv 人工智能 · arxiv.org