审计发现作弊漏洞后 Scale AI 从 SWE-Bench Pro 剔除 89 个任务

Scale AI 在独立审计发现基准存在作弊与答案泄露后发布 SWE-Bench Pro V2，将公开评测集从 731 个缩减至 642 个，并剔除了 89 个无效任务。新版本重写了 529 个问题描述、修正了 214 个测试补丁、在智能体阶段关闭网络访问，并新增了 51 个任务的 HARD 子集。此前审计曾发现评测机拒绝了 24% 的正确补丁，且部分智能体从容器 git 历史中读取答案。