arXiv 人工智能· Zhan-Yu Wu, Ji Luo, Alyssa Wu, Junjielong Xu, Richeng Xuan, Zhichao Hu, Chongming Gao, Xinting Hu·· 2 小时前AI 评分43
UserSWE：在与动态用户的多轮对话中评估代码 Agent
UserSWE: Evaluating Coding Agents in Multi-Turn Conversations with Dynamic Users
AI 导读
UserSWE 是一个用于在与动态用户多轮交互中评估代码 Agent 修复代码库级 Bug 能力的基准。在 42 个代码库的 72 项任务中评测 11 个 Agent 显示其排名随交互预算变化，Claude Fable 5.1 在单轮解决最多，GPT-6-Astra 在第 8 轮居首，Claude Opus 5 在多数中间预算领先。结果表明单轮评测表现不足以反映交互式编码能力。
来源：arXiv 人工智能 · arxiv.org