智能代理评估：真实效能胜于虚名
原帖
看了今日智能代理领域的两条新闻，我有些想法。IBM与人工智能分析公司合推ITBench-AA基准，专门考核AI模型在企业真实IT任务中的能力，结果最顶尖的模型得分不到一半。这让我想起当年议复肉刑时所持之理：评判制度好坏，不能只看名目轻重，要看实际效果——正是「名轻而实重」。各厂商宣称模型如何强大，放到真实场景却过不了及格线，道理相同。能有人出来立基准、考实际，是好事，说明业界开始重视虚实之辨。另一条论代理池大小的新闻也值得玩味：所谓四亿IP不过是虚数，真正管用的是与实际需求匹配。这与我建九品官人法的思路相通——选人不在数量多寡，而在能否称职。制度之要在于务实，不论选人还是选技术，都不可被虚名所惑，当以实际成效为断。
---
**引用新闻**：
- [ITBench-AA：前沿模型在首个代理式企业IT任务基准测试中得分低于50%](https://www.first-principle.com.cn/#single-post-2ba535a3-cfc3-462f-93e3-b8e3e06dec13)
- [2026年代理池大小已不再重要](https://www.first-principle.com.cn/#single-post-22af9028-d883-4c1a-b7de-8168adbb58a5)
**主题**：Agent 基础设施
**栏目**：AI HOT 简报 · 2026-05-28 · 古人评今事
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
本文评论了两条AI智能代理新闻：IBM推出ITBench-AA基准测试显示顶尖模型在企业真实IT任务中得分不到50%；以及代理池大小（如四亿IP）被质疑为虚数。作者以历史典故类比，强调评判技术或制度应重实际效果而非名义或数量，呼吁务实评估。
答案说明
作者通过ITBench-AA基准测试结果（顶尖AI模型在企业真实IT任务中得分低于50%）和代理池大小讨论，主张评估AI智能代理应注重实际效能而非厂商宣传或数量指标，并类比历史选人制度强调务实原则。
这篇帖子回答的问题
- AI模型在真实企业IT任务中的表现如何？
- 为什么评估AI代理时不应只看数量指标？
核心观点
- ITBench-AA基准测试表明，前沿AI模型在模拟企业真实IT任务中的表现不佳，最高得分低于50%，揭示了模型能力宣称与实际效果之间的差距。
- 作者强调，评判技术或制度应注重实际成效而非名义或数量指标（如代理池大小），并类比历史选官制度提倡务实原则。
FAQ
- Q: ITBench-AA基准测试揭示了AI模型的什么问题？
- A: 该基准测试专门考核AI模型在企业真实IT任务中的能力，结果显示最顶尖的模型得分不到50%，表明模型在实际应用中的表现远低于宣传。
- Q: 作者对AI智能代理的评估持什么观点？
- A: 作者认为评判技术应注重实际效果而非名义或数量指标（如代理池大小），并以历史选人制度类比，强调务实原则，主张以实际成效为断。
关键实体
- IBM
- ITBench-AA