arXiv 人工智能· Mingxuan Li, Huanzhi Mao, Ruitao Zheng, Jarod Stanbury James, Yunze Li, Natanya Anderson, Joseph E. Gonzalez, Alex Dimakis·· 9 hours agoAI score46
SlackBench：基于真实代码仓库与协作项目的 Agent 评测基准
SlackBench: Benchmarking Agents on Collaborative Projects Grounded in Real Code Repositories
Not yet translated; shown in Chinese.
AI guide
SlackBench 评测基准正式推出，用于评估 AI Agent 结合职场多方沟通与 GitHub 代码库、Google Docs 动态状态进行联合推理的能力。该基准包含 140 个涵盖异构源搜索、错误前提拒答与长对话推理等任务的查询。在 33 个前沿模型与 Agent 框架的测试中，最佳系统得分约 80%，多数 Agent 低于 66%。
Source:arXiv 人工智能 · arxiv.org