热点事件持续更新
研究提出大模型Agent与运行框架交互评测体系
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月26日，arXiv发表的一项研究针对大语言模型智能体提出了系统性评测体系，旨在探究智能体失败时模型与执行框架（harness）的交互影响与责任归属。该体系包含有效完成率（VCR）等5项指标。研究团队在6个基准、111种设置与52,168条轨迹的规模下，测试了OpenCode等4款通用框架。结果显示，OpenCode在跨模型测试中综合表现居首；在模型端，DeepSeek V4 Flash Preview在各类框架下均保持了持续高位的平均VCR。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 12:00
研究提出包含VCR等指标的交互评测体系，OpenCode框架与DeepSeek模型表现领先。报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv 人工智能当智能体失败时：责任在模型还是执行框架？
针对大语言模型智能体，研究提出包含有效完成率（VCR）等 5 项指标的评测框架，系统评估模型与执行框架（harness）的交互影响。在 6 个基准、111 种设置与 52,168 条轨迹下，团队测试了 OpenCode 等 4 款通用框架。结果显示 OpenCode 跨模型表现居首，DeepSeek V4 Flash Preview 在各框架下均保持持续高位的平均 VCR。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。