动察 Beating AI 快讯,Artificial Analysis 上线 FrontierCode 1.1 编程榜单,重点评估 AI 写出的代码能否达到开源项目维护者的合并标准。Claude Opus 5.5 以 52.2% 的综合评分排名第一,但只有 58% 的尝试通过全部硬性检查,意味着仍有四成以上不达标。
这套评测由 Cognition 联合 36 个开源项目的维护者开发,每道题打磨超过 40 小时。它不只检查代码能否运行,还要求新增测试能在旧代码上发现问题,不能随意修改无关文件,也不能破坏原有功能。Artificial Analysis 选取其中较难的 100 道私有任务,让所有模型使用同一套 Agent 框架,每题运行 3 次。其中 9 道题,没有任何受测模型成功通过。
成本差距比得分更大。GPT-6.1 Sol 得分 49.1%,只比 Opus 5.5 低 3.1 个百分点,但平均每题成本仅 0.81 美元,后者达到 10.15 美元,相差超过 12 倍。小米 MiMo-V2.6-Pro 以 45% 领跑开源模型,单题成本仅 0.18 美元;DeepSeek V4.1 Flash 和 Kimi K3 均为 44%。
需要注意,52.2% 是综合评分,并非真实 PR 合并率。评测采用自动化检查和 GPT-6 Luna 模型评审,没有真正交给维护者逐条审核。所有模型使用统一 Agent 框架,也意味着这份排名不能直接代表各家官方编程工具的实际表现。
----------缘辉旺盾网量化工具温馨提示:数字货币投资有风险,入市需谨慎;本文章不作为投资依据,仅供参考 ----------交流群:https://t.me/dunwangyuanhuiwang