**AI 基准测试陷入“古德哈特定律”：模型为刷分而偏离真实能力**

_AI Benchmarks: Climbing the Wrong Hills_

> Contrary Research 指出，随着 AI 行业将基准测试分数作为核心优化目标，模型开发正陷入古德哈特定律的陷阱：当指标成为目标时，它就不再是良好的指标。文章以 Llama 4 Maverick 为例，揭示了模型为在 Arena 榜单上刷分而过度优化对话风格，导致其真实能力远低于榜单排名。这种由强化学习驱动的“爬山”策略不仅无法准确衡量真实世界的表现，甚至可能误导技术发展方向，促使业界反思现有评估体系的局限性。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：行业
- **发布时间**：2026-10-21 13:46（北京时间）
- **原文**：[打开原文](https://research.contrary.com/report/ai-benchmarks-climbing-the-wrong-hills)