跨智能体LLM到Dafny形式化验证一致性研究
Start here
2026年11月6日,一项跨智能体LLM到Dafny形式化的研究表明,验证通过并不等于模型达成独立一致,同模型基准的一致性仅为59.3%。在针对96份临床试验文档的评测中,GPT-4.1-nano与GPT-4.1-mini在强模型担任实现者时一致性为53.0%,在角色互换审计后降至13.2%。此外,最强的GPT-5.6-luna与GPT-5.4-mini配置下一致性仅为34.4%,且双方直接矛盾占比达到42.7%。
AI-generated from reports · Updated 5 hours ago
Report timeline
Follow the reports to see different sides of the story.
- arXiv 人工智能当验证不等于一致:跨智能体 LLM 到 Dafny 形式化研究
跨智能体 LLM 到 Dafny 形式化研究表明,验证通过不等于模型达成独立一致,同模型基准的一致性仅 59.3%。在 96 份临床试验文档评测中,GPT-4.1-nano 与 GPT-4.1-mini 在强模型任实现者时一致性为 53.0%,角色互换审计后降至 13.2%。最强的 GPT-5.6-luna 与 GPT-5.4-mini 配置一致性仅 34.4%,且直接矛盾占比达 42.7%。
Story heat trend
Current heat 9·Comparable peak 10(Nov 6 14:00)·Comparable change, last 24 hours–
Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.