**PostHog 详解 LLM 智能体基准测试：从定义答案到隔离运行与离线评估**

_We benchmark LLMs at PostHog on practical tasks with real data_

> PostHog 分享了其大规模评估 AI 智能体的实战经验，重点解决了模型评估中的三大难题：如何定义准确的答案标准、如何防止智能体作弊以及如何在真实数据上进行离线测试。文章提出了具体的解决方案，包括构建多级答案键（如潜在 Bug 列表）、实施严格的运行隔离（如并行无状态运行）以及通过冻结环境（如模拟 MCP 回复）来确保评估的客观性与可复现性，为开发者提供了可落地的基准测试框架。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-10-29 22:46（北京时间）
- **原文**：[打开原文](https://posthog.com/blog/how-to-benchmark-ai-agents)