arXiv 人工智能· Shao Zhang, Hangfan Zhang, Yuanyuan Shi, Hao Li, Min-Le Su, Kangcong Li, Jingping Wang, Chunjiang Mu, Chen Zhang, Yang Chen, Bo Zhang, Shuyue Hu·· 7 小时前AI 评分50
当智能体失败时：责任在模型还是执行框架？
When Agents Fail: Model or Harness--Who's to Blame?
AI 导读
针对大语言模型智能体，研究提出包含有效完成率（VCR）等 5 项指标的评测框架，系统评估模型与执行框架（harness）的交互影响。在 6 个基准、111 种设置与 52,168 条轨迹下，团队测试了 OpenCode 等 4 款通用框架。结果显示 OpenCode 跨模型表现居首，DeepSeek V4 Flash Preview 在各框架下均保持持续高位的平均 VCR。
来源：arXiv 人工智能 · arxiv.org