**化 flawed 基准为良方：当答案正确却得零分时，我们如何评估 AI？**

_Making Flawed Benchmarks Useful_

> 文章指出当前 AI 评估基准存在严重缺陷，常因机械的字面匹配（如忽略所有格符号）而错误地给正确答案打零分。作者通过实际测试发现，尽管模型提取的信息完全正确，但严格的评分标准（如 Exact Match）会因标点差异而判定失败，连基于 Token 的 F1 评分也失效。为此，团队建议超越简单的字符串比对，转而关注答案的语义可靠性，以获取更真实的模型能力评估。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-11-05 02:02（北京时间）
- **原文**：[打开原文](https://blatent.ai/blog/making-flawed-benchmarks-useful)