arXiv 人工智能· Yang Qu, Qiang Fu, Zonghao Ying, Jiayi Zhao, Yaoyuan Zhang, Jinyang Guo, Jian Yang, Aishan Liu, Yingxun Wang, Xianglong Liu·· 15 小时前AI 评分39
VagueBench：评估具身智能体应对环境上下文错觉的鲁棒性基准
VagueBench: Benchmarking the Robustness of Embodied Agents on Ambient Context Illusions
AI 导读
研究团队推出基于 AI2-THOR 仿真环境的基准 VagueBench，用于评估具身智能体在省略非必要上下文细节时的鲁棒性。该基准包含 4 个类别共 1,303 对指令，评测显示 6 个 SOTA 具身智能体的任务成功率相对下降 19.65%，空计划率相对上升 54.10%。实验表明智能体过度依赖辅助语言线索，且该现象在真实机器人系统中同样存在潜在安全风险。
来源：arXiv 人工智能 · arxiv.org