arXiv 自然语言处理· Binjie Wang, Xinran Zhao, Shoubin Yu, Xiang Li, Silong Yong, Chenyang Yang, Tianyu Chen, Ruofei Du, He He, Chen Zhao, Tongshuang Wu·· 7 小时前AI 评分37
3DCodeEdit：评测指令引导的 3D 程序编辑能力
3DCodeEdit: Benchmarking Instruction-Guided 3D Program Editing
AI 导读
研究团队推出 3DCodeEdit 评测基准，包含基于 108 个 Blender 程序的 2,592 项指令引导 3D 代码编辑任务。测试显示 17 个模型的平均成功率仅 37%，且最强模型在结构和风格编辑中的完成率也不足 60%。研究发现由独立审查模型提供渲染差异的多轮反馈效果显著，能让 27B 模型超越 2.8T 参数模型的单次成功率。
来源：arXiv 自然语言处理 · arxiv.org