热点事件持续更新
研究团队推出编码智能体评测基准SWE-Shift
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月26日，研究团队推出基准测试SWE-Shift，专门用于评估编码智能体在执行任务过程中应对代码、依赖、运行状态和需求等动态变更的能力。该基准测试涵盖12类变更共计120个场景，并在9个干预节点上测试了17个编码智能体系统。测试结果显示，所有系统在工作区发生环境变更后表现均出现明显下降。其中，GPT-6 Astra的成功率从67.35%大幅降至24.79%；此外，工具变更和陈旧证据等因素导致所有受测系统的配对成功率均降为零。
AI 根据报道生成 · 3 小时前更新
最新进展10月26日 12:00
研究团队推出SWE-Shift基准测试，结果显示环境变更使受测智能体表现普遍大幅下滑。报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv 人工智能SWE-Shift：评估编码智能体在动态演化工作区中表现的基准测试
研究团队推出基准测试 SWE-Shift，专门评估编码智能体在执行过程中应对代码、依赖、运行状态和需求等动态变更的能力。该基准涵盖 12 类变更的 120 个场景，并在 9 个干预节点测试了 17 个编码智能体系统。测试结果显示所有系统在发生环境变更后的表现均明显下降，其中 GPT-6 Astra 成功率从 67.35% 降至 24.79%，且工具变更和陈旧证据导致所有系统的配对成功率归零。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。