arXiv 人工智能· Mingxuan Li, Huanzhi Mao, Ruitao Zheng, Jarod Stanbury James, Yunze Li, Natanya Anderson, Joseph E. Gonzalez, Alex Dimakis·· 7 小时前AI 评分46
SlackBench:基于真实代码仓库与协作项目的 Agent 评测基准
SlackBench: Benchmarking Agents on Collaborative Projects Grounded in Real Code Repositories
AI 导读
SlackBench 评测基准正式推出,用于评估 AI Agent 结合职场多方沟通与 GitHub 代码库、Google Docs 动态状态进行联合推理的能力。该基准包含 140 个涵盖异构源搜索、错误前提拒答与长对话推理等任务的查询。在 33 个前沿模型与 Agent 框架的测试中,最佳系统得分约 80%,多数 Agent 低于 66%。
来源:arXiv 人工智能 · arxiv.org