arXiv 自然语言处理· Yiping Li, Zhiyu An, Wan Du·· 6 小时前AI 评分43
SANZARU:认知与通信不对称下的协议形成评测基准
Sanzaru: Benchmarking Protocol Formation under Epistemic & Communication Asymmetry
AI 导读
评测基准 SANZARU 将拆弹任务的信息与权限分配给分别无法听、说、看的 3 个 AI 智能体,以评测信息不对称下的协议形成与协作能力。该基准含 7 类共 120 个谜题,在 1512 轮评测中,7 款模型取得 49% 的整体成功率(20% 至 86% 不等)。在 771 次团队失败中约 60% 归因于通信,智能体常尝试使用队友无法接收的通道。
来源:arXiv 自然语言处理 · arxiv.org