**Hex 利用 1800 个评估用例将 AI 错误率降低 7 倍**

_Using evals to cut AI errors 7x_

> Hex 团队在开发 Quick Edits 功能时，采用“爬山法”（hill-climbing）策略，构建了 1800 个基于真实用户场景的评估用例。通过让编码代理测试数百种变更并保留高分方案，将错误编辑率从 21% 降至 3%。研究发现，优化模型周围的执行框架（harness）比单纯调整提示词（prompt）更能显著提升 AI 功能质量。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：tip
- **发布时间**：2026-10-09 08:35（北京时间）
- **原文**：[打开原文](https://hex.tech/blog/we-used-evals-to-improve-ai-feature)