arXiv 人工智能· Yixue Cai, Yuzhe Zhao, Hanxiang Chao, Qingsen Ma, Ziheng Xiong, Jinhu Qi, Irwin King·· 3 小时前AI 评分39
Spec2Game：LLM 能否根据详细规格生成完整的可玩游戏？
Spec2Game: Can LLMs Generate Complete Playable Games from Detailed Specifications?
AI 导读
研究人员推出评测基准 Spec2Game，用于评估大语言模型根据自然语言规格生成完整 Pygame 游戏的能力。该基准包含 15 个游戏家族、150 个任务实例，从可执行性、规格实现度、代码质量和用户端质量 4 个维度进行评估。对 14 个 LLM 及 3,330 个项目的测试表明，高可执行性不代表准确实现规格，模型在规则机制与终止逻辑建模上仍面临挑战。
来源：arXiv 人工智能 · arxiv.org