arXiv 自然语言处理· Baohang Li, Xiaocheng Feng, Bing Qin·· 11 hours agoAI score43
TandemBench：多智能体协作决策模型评测基准
TandemBench: Benchmarking Decision Models for Multi-Agent Collaboration
Not yet translated; shown in Chinese.
AI guide
研究人员推出包含 1,200 道多智能体烹饪题目的协作评测基准 TandemBench，并评测了 40 个原生决策模型与 10 个通用语言模型。测试显示最佳原生决策模型取得 62.50% 的决策准确率，但在最优性验证上接近随机水平，常错误判断候选方案外是否存在更优解。该基准的数据集与评估代码已公开发布。
Source:arXiv 自然语言处理 · arxiv.org