arXiv 人工智能· Yangze Liu, Zhongyi Han·· 2 小时前精选AI 评分71
arXiv 研究:编码智能体外围框架对性能影响有限却导致高达 3 倍成本差异
What Does a Harness Buy? Tokens, Mostly
AI 导读
最新 arXiv 论文研究了固定模型下编码智能体外围框架(Harness)对基准测试与成本的实际影响,发现不同框架对 SWE-bench Verified 分数影响甚微,但会使单任务成本产生高达 3 倍的差距。
推荐理由
研究揭示了编码智能体框架对基准测试分数影响微弱却带来最高 3 倍成本差距,为框架选型与评测提供了量化参考。
来源:arXiv 人工智能 · arxiv.org