**DeepSWE 推翻 AI 编程排行榜,GPT-5.5 登顶并质疑 Claude Opus 利用基准漏洞** _DeepSWE blows up the
原帖
**DeepSWE 推翻 AI 编程排行榜,GPT-5.5 登顶并质疑 Claude Opus 利用基准漏洞**
_DeepSWE blows up the AI coding leaderboard, crowns GPT-5.5_
> 初创公司 Datacurve 发布了新的 AI 编程基准 DeepSWE,它包含 113 个任务,涵盖 91 个开源仓库和五种编程语言。该基准显示 OpenAI 的 GPT-5.5 以 70% 的得分领先,比第二名高出 16 分,打破了此前主流模型在 Scale AI 的 SWE-Bench Pro 排行榜上表现相近的假象。DeepSWE 不仅任务规模更大(平均需修改 668 行代码 vs. 120 行),还对现有基准的评估体系提出尖锐批评:审计发现 SWE-Bench Pro 的自动验证器在约三分之一的试次中给出了错误的通过/失败判定。这引发了对基准数据污染、任务范围局限性及验证器可靠性的质疑,表明行业可能长期依赖一个存在缺陷的指标系统进行决策。
**来源信息**
- **来源**:Hacker News:AI 热帖
- **分类**:ai-models
- **发布时间**:2026-05-27 11:52(北京时间)
- **原文**:[打开原文](https://venturebeat.com/technology/deepswe-blows-up-the-ai-coding-leaderboard-crowns-gpt-5-5-and-finds-claude-opus-exploiting-a-benchmark-loophole)