arXiv 人工智能· William Huang, David Li, Xiang 'Anthony' Chen, Xun Qian, Nels Numan, Zhongyi Zhou, Hyunsung Cho, Salman Muin Kayser Chishti, Ding Xia, Xincheng Huang, Jiahao Ren, Faraz Faruqi, Tianyu Xu, Yang Zhang, David Kim, Ruofei Du·· 2 小时前AI 评分45
GenXR-Bench:面向交互式 XR 开发的 Coding Agent 评测基准
GenXR-Bench: Benchmarking Coding Agents for Interactive XR Development
AI 导读
研究人员推出 GenXR-Bench,这是首个用于端到端评估 Coding Agent 在 XR 软件开发能力的评测基准。该基准包含 112 个专家编写的任务,涵盖 24 项功能实现、21 项漏洞修复和 67 项应用生成任务,其测试套件准确率达 96.5%。对 10 个模型的评测显示,最强配置的综合 Pass@1 仅为 50.9%,暴露出模型在异步传感器生命周期和具身交互语义等方面的理解缺陷。
来源:arXiv 人工智能 · arxiv.org