arXiv 自然语言处理· Zichuan Xu, Yuyang Dong, Makoto Onizuka, Chuan Xiao·· 1 天前AI 评分51
ToolBottleneckBench：在受控压力与固定框架预算下评测工具智能体性能
ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets
AI 导读
研究团队推出评测基准 ToolBottleneckBench，用于在受控压力与固定运行框架（harness）预算下量化工具智能体的性能表现。测试涵盖 21 种模型与框架配置，结果显示绝大多数失败均由框架限制终结，且可见工具菜单是唯一造成显著性能惩罚的压力因素，该惩罚主要与补全上限截断相关。
来源：arXiv 自然语言处理 · arxiv.org