跳到正文
原文
arXiv 人工智能· Kiant\'e Fernandez, Caitlin Chen, Jialu Zhou, Bartek Sadowski, Anthony C. Miceli, Ian Krajbich·· 5 小时前AI 评分45

CogArena:在交互式行为实验中评测多模态 AI 智能体

CogArena: Benchmarking Multimodal Agents on Interactive Behavioral Experiments

AI 导读

研究者推出 CogArena 评测基准,包含来自社会与行为科学的 10 个实验范式,让 AI 智能体通过标准网页浏览器与人类相同的视觉刺激及界面完成实验。对 4 个多模态模型(每个任务运行 10 次)的三级评估显示,许多测试未能完成,且完成任务与复现人类行为特征存在明显差距。项目已公开任务、评分代码和评测排行榜。

来源:arXiv 人工智能 · arxiv.org