arXiv 自然语言处理· Xunjian Yin, Tianchen Guan, Jinao Wang, Weili Cao, Daisy Xinlei Lin, Royce Cheng-Yue, Keagan Long, Kyle Wong, Bhuwan Dhingra, Xiangjun Wang, Shuyan Zhou·· 1 天前AI 评分49
基于受控环境干预构建高难度浏览器操作任务
Constructing Challenging Browser-Use Tasks by Controlled Environment Interventions
AI 导读
研究团队推出 BreakingWeb 基准，包含跨 7 个自托管网站与 29 种干预类型的 519 对任务，通过受控改变 Web 环境各层构建高难度浏览器操作评测。测试显示干预使 6 款 AI 智能体平均通过率下降 22.9%，且 75% 的失败表现为误判成功的信念失败，而人类熟悉后仅下降 5.7%。相关代码、数据和测试环境已公开发布。
来源：arXiv 自然语言处理 · arxiv.org