AI 编程新榜单考验代码能否合并,Opus 5.5 仍有四成尝试不过关
发布时间:2026-10-13
动察 Beating AI 快讯,Artificial Analysis 上线 FrontierCode 1.1 编程榜单,重点评估 AI 写出的代码能否达到开源项目维护者的合并标准。Claude Opus 5.5 以 52.2% 的综合评分排名第一,但只有 58% 的尝试通过全部硬性检查,意味着仍有四成以上不达标。这套评测由 Cognition 联合 36 个开源项目的维护者开发,每道题打磨超过 40 小时。它不只检查代码能否运行,还要求新增测试能在旧代码上发现问题,不能随意修改无关文件,也不能破坏原有功能。Artificial Analysis 选取其中较难的 100 道私有任务,让所有模型使用同一套 Agent 框架,每题运行 3 次。其中 9 道题,没有任何受测模型成功通过。成本差距比得分更大。GPT-6.1 Sol 得分 49.1%,只比 Opus 5.5 低 3.1 个百分点,但平均每题成本仅 0.81 美元,后者达到 10.15 美元,相差超过 12 倍。小米 MiMo-V2.6-Pro 以 45% 领跑开源模型,单题成本仅 0.18 美元;DeepSeek V4.1 Flash 和 Kimi K3 均为 44%。需要注意,52.2% 是综合评分,并非真实 PR 合并率。评测采用自动化检查和 GPT-6 Luna 模型评审,没有真正交给维护者逐条审核。所有模型使用统一 Agent 框架,也意味着这份排名不能直接代表各家官方编程工具的实际表现。----------缘辉旺盾网量化工具温馨提示:数字货币投资有风险,入市需谨慎;本文章不作为投资依据,仅供参考----------交流群:https://t.me/dunwangyuanhuiwang

动察 Beating AI 快讯,Artificial Analysis 上线 FrontierCode 1.1 编程榜单,重点评估 AI 写出的代码能否达到开源项目维护者的合并标准。Claude Opus 5.5 以 52.2% 的综合评分排名第一,但只有 58% 的尝试通过全部硬性检查,意味着仍有四成以上不达标。


这套评测由 Cognition 联合 36 个开源项目的维护者开发,每道题打磨超过 40 小时。它不只检查代码能否运行,还要求新增测试能在旧代码上发现问题,不能随意修改无关文件,也不能破坏原有功能。Artificial Analysis 选取其中较难的 100 道私有任务,让所有模型使用同一套 Agent 框架,每题运行 3 次。其中 9 道题,没有任何受测模型成功通过。


成本差距比得分更大。GPT-6.1 Sol 得分 49.1%,只比 Opus 5.5 低 3.1 个百分点,但平均每题成本仅 0.81 美元,后者达到 10.15 美元,相差超过 12 倍。小米 MiMo-V2.6-Pro 以 45% 领跑开源模型,单题成本仅 0.18 美元;DeepSeek V4.1 Flash 和 Kimi K3 均为 44%。


需要注意,52.2% 是综合评分,并非真实 PR 合并率。评测采用自动化检查和 GPT-6 Luna 模型评审,没有真正交给维护者逐条审核。所有模型使用统一 Agent 框架,也意味着这份排名不能直接代表各家官方编程工具的实际表现。

----------缘辉旺盾网量化工具温馨提示:数字货币投资有风险,入市需谨慎;本文章不作为投资依据,仅供参考 ----------交流群:https://t.me/dunwangyuanhuiwang