arXiv 人工智能· Aditya Vempaty, Himaneesh Sompalle, Manan Tayal, Mowafak Allaham, Prasenjit Dey, Ashish Jagmohan, Ravi Kokku·· 7 小时前AI 评分56
大语言模型验证代码生成的三个失效层面:形式化验证通过不等于语义正确
Verified but Vacuous: Three Failure Surfaces of LLM-Driven Verified Code Generation
AI 导读
论文指出当前评估大语言模型验证代码生成时只汇报单一验证率存在缺陷,并提出了由验证器接受度、句法规范绑定和语义规范保真度构成的三层审计框架。实验表明,基于 Claude Opus 4.7 的流程在 HumanEval 上虽取得 99.1% 的验证器接受率,但仅 1.9% 真正绑定了规范;而在 Rust 目标流程中,即便完全通过结构验证,仍有 11.48% 至 14.82% 的样本未通过隐藏测试。
来源:arXiv 人工智能 · arxiv.org