跳到正文
原文
Hacker News · AI· emschwartz·· 4 小时前AI 评分58

FrontierCode 评测:AI 模型能否写出开源维护者愿意合并的代码?

FrontierCode: Can AI models write code maintainers would merge?

AI 导读

Artificial Analysis 发布基于 FrontierCode 1.1 的评测结果,衡量 AI 代码修改是否达到开源仓库维护者的合并标准。Claude Opus 5.5 以 52% 均分和 58% 通过率位列第一,但前沿模型的失败率依然超过 40%。该基准不仅测试功能是否通过,还考核改动范围与冗余代码,其中 GPT-6.1 Sol 以单任务 $0.81 展现出极高性价比。

来源:Hacker News · AI · artificialanalysis.ai