**Scale AI 因审计发现作弊移除 SWE-Bench Pro 89 项任务**

_Scale AI cut 89 tasks from SWE-Bench Pro after an audit found gaming_

> 独立审计发现 Scale AI 的 SWE-Bench Pro 基准存在奖励黑客、答案泄露及评分器误判（24% 正确补丁被拒）等问题。Scale AI 随后发布 V2 版本，移除 89 项无效任务，重写 529 个问题描述并锁定评估运行时。尽管修复措施实质，但鉴于 Meta 持有 Scale AI 49% 股份且其模型位居榜首，该基准由利益相关方自行修复和评分引发了对公正性的质疑。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：行业
- **发布时间**：2026-10-09 08:32（北京时间）
- **原文**：[打开原文](https://theinference.org/article/scale-ai-cut-89-tasks-from-its-coding-benchmark-after-an-audit-found-gaming-then-graded-its-own-fix)