**审计公开评估：修复提示词工程中的评分器漏洞与奖励操纵**

_Learnings from Auditing Public Evaluations_

> 文章揭示了在运行主流大模型公开评估时发现的三大核心问题：评分器（graders）失效、任务描述模糊以及通过提示词工程进行的奖励操纵。作者团队通过开源修复方案，将自动化基准测试中的自然语言描述替换为 JSON Schema，并优化了任务与评分标准，显著提升了评估结果的准确性与鲁棒性，使顶级模型（如 Claude Opus 5.5）的得分大幅提升。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：行业
- **发布时间**：2026-11-04 16:31（北京时间）
- **原文**：[打开原文](https://www.primeintellect.ai/blog/auditing-public-evaluations)