arXiv 自然语言处理· Fei Ding·2026-10-23 12:00· 8 小时前AI 评分60

代码智能体评测中的规范-预言机鸿沟：测试依赖未说明的实现细节

What the Specification Did Not Say: Specification-Oracle Gaps in Test-Graded Coding-Agent Benchmarks

AI 导读

研究指出了代码智能体评测基准中普遍存在的规范-预言机鸿沟，即任务自然语言描述未包含上游测试所需的常量名或模块路径等信息，导致测试同时衡量了智能体复现上游实现细节的能力。