构建你自己的AI基准测试方法
原帖
**如何构建你自己的AI基准测试**
_How to Build Your Own AI Benchmark_
> 本文指出公开AI基准测试（如MMLU、HumanEval）存在数据污染和厂商优化问题，导致其无法真实反映模型在特定代码库中的实际表现。文章建议团队使用自身代码库中的真实问题（如重构、测试编写等）构建简单评分系统：提取已解决代码、编写程序化检查、测试模型并计算百分比得分。通过多次独立运行模型并比较平均分，团队可以更可靠地评估AI模型对自身工作的适用性，OpenAI和Anthropic等公司也采用类似方法。
**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：tip
- **发布时间**：2026-05-19 20:29（北京时间）
- **原文**：[打开原文](https://theendofcoding.com/blog/how-to-build-ai-benchmarks)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
针对公开AI基准测试存在数据污染与厂商优化问题，文章提出了一套利用团队自身代码库构建定制化评估系统的方法，包括从已解决的真实任务中提取问题、编写自动化检查、多次运行模型并比较平均得分，以更可靠地衡量AI模型在实际开发中的适用性。
答案说明
该帖子介绍了如何构建针对团队实际代码库的AI基准测试，核心步骤包括：选择真实已解决任务（如重构、测试编写）、设计程序化检查、多次独立运行模型后计算平均得分，并指出OpenAI和Anthropic等公司也采用类似内部评估策略。
这篇帖子回答的问题
- 如何为团队的代码库构建定制化的AI基准测试？
核心观点
- 公开AI基准测试（如MMLU、HumanEval）因数据污染和厂商优化问题，难以真实反映模型在特定代码库中的实际表现。
- 团队可以通过使用自身代码库中的真实问题构建简单评分系统，多次独立运行模型并比较平均分，从而更可靠地评估AI模型对自身工作的适用性。
FAQ
- Q: 为什么公开的AI基准测试不能可靠评估模型？
- A: 帖子指出，公开AI基准测试（如MMLU、HumanEval）存在数据污染和厂商优化问题，因此无法真实反映模型在特定代码库中的实际表现。
- Q: 构建自定义AI基准测试需要哪些步骤？
- A: 帖子建议：1）使用自身代码库中的真实已解决问题（如重构、测试编写）；2）编写程序化检查；3）测试模型并计算百分比得分；4）通过多次独立运行模型并比较平均分来提高评估可靠性。
关键实体
- MMLU
- HumanEval
- OpenAI
- Anthropic