arXiv 人工智能· Jens Lehmann, Sahar Vahdati·· 8 小时前AI 评分62
大语言模型能否自主优化脚手架？基于 ARC-AGI-3 的受控实验研究
Can LLMs Improve Their Own Harness? A Controlled Study on ARC-AGI-3
AI 导读
最新研究探讨了大语言模型能否在 ARC-AGI-3 交互基准上自主构建并迭代软件脚手架，结果显示两次代码修订后保留集的平均相对人类动作效率仅微增 2.80 点。实验覆盖 27 个迭代分支，发现开发集上的收益普遍夸大了未见任务的表现，且降低推理成本往往以牺牲任务性能为代价。研究表明前沿模型即便能搭建出高分脚手架，其自主优化机制仍难以保证能力的稳定泛化与保留。
来源：arXiv 人工智能 · arxiv.org