跳到正文
原文
arXiv 自然语言处理· Baohang Li, Xiaocheng Feng, Bing Qin·· 9 小时前AI 评分43

TandemBench:多智能体协作决策模型评测基准

TandemBench: Benchmarking Decision Models for Multi-Agent Collaboration

AI 导读

研究人员推出包含 1,200 道多智能体烹饪题目的协作评测基准 TandemBench,并评测了 40 个原生决策模型与 10 个通用语言模型。测试显示最佳原生决策模型取得 62.50% 的决策准确率,但在最优性验证上接近随机水平,常错误判断候选方案外是否存在更优解。该基准的数据集与评估代码已公开发布。

来源:arXiv 自然语言处理 · arxiv.org