研究揭大模型形式验证代码生成漏洞并提出三层审计框架
Start here
2026年11月5日，arXiv发表论文指出，当前评估大语言模型验证代码生成时仅汇报单一验证率存在缺陷，形式化验证通过并不等同于语义正确。为此，研究提出了涵盖验证器接受度、句法规范绑定和语义规范保真度的三层审计框架。实验表明，基于 Claude Opus 4.7 的流程在 HumanEval 基准上虽取得了 99.1% 的验证器接受率，但仅有 1.9% 真正绑定了规范；而在 Rust 目标流程中，即便样本完全通过了结构验证，仍有 11.48% 至 14.82% 未能通过隐藏测试。
AI-generated from reports · Updated 6 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能大语言模型验证代码生成的三个失效层面：形式化验证通过不等于语义正确
论文指出当前评估大语言模型验证代码生成时只汇报单一验证率存在缺陷，并提出了由验证器接受度、句法规范绑定和语义规范保真度构成的三层审计框架。实验表明，基于 Claude Opus 4.7 的流程在 HumanEval 上虽取得 99.1% 的验证器接受率，但仅 1.9% 真正绑定了规范；而在 Rust 目标流程中，即便完全通过结构验证，仍有 11.48% 至 14.82% 的样本未通过隐藏测试。
Story heat trend
Current heat 9·Comparable peak 10（Nov 5 14:00）·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.