Hacker News · AI· emschwartz·· 4 小时前AI 评分58
FrontierCode 评测:AI 模型能否写出开源维护者愿意合并的代码?
FrontierCode: Can AI models write code maintainers would merge?
AI 导读
Artificial Analysis 发布基于 FrontierCode 1.1 的评测结果,衡量 AI 代码修改是否达到开源仓库维护者的合并标准。Claude Opus 5.5 以 52% 均分和 58% 通过率位列第一,但前沿模型的失败率依然超过 40%。该基准不仅测试功能是否通过,还考核改动范围与冗余代码,其中 GPT-6.1 Sol 以单任务 $0.81 展现出极高性价比。
来源:Hacker News · AI · artificialanalysis.ai