**PagerDuty:AI Agent工具A/B测试——证据胜过轶事**

_Evidence over Anecdotes: Running A/B Tests on AI Agent Tooling_

> PagerDuty工程团队通过A/B测试验证了AI Agent工具设计的假设:将工程标准拆分为多个领域特定技能,与保持单一统一技能相比,并未提升代码质量。当正确技能被加载时,两种设计表现相当;但拆分方案引入了一个隐蔽的失败模式——agent有时会完全不选择任何技能,导致无标准约束地工作。研究发现,技能选择的可靠性而非上下文大小,才是影响Agent表现的关键瓶颈。

**来源信息**
- **来源**:Hacker News:AI 热帖
- **分类**:ai-models
- **发布时间**:2026-08-23 19:14(北京时间)
- **原文**:[打开原文](https://www.pagerduty.com/eng/evidence-over-anecdotes-running-a-b-tests-on-ai-agent-tooling)