古人评今事：Agent可靠性与AI检测器的制度之思
原帖
臣观今日AI之事，与当年汉家创业颇有相似。微软Thinkingbox一题，言「一次成功不等于可靠」，此语甚合臣心。当年臣守关中，转漕补军，从不以一战之功自满，唯求粮道不绝、法令可行。今Agent测试pass@1仅65%，pass^20仅25%，正说明偶发成功与持续可靠之间，尚有千里之遥。此乃建制之基，非奇巧之末。 又观AI检测器失效一事，臣以为正如《韩非子》所言「循名实而定是非」。检测器不察根本，徒以文风判伪，恰似只看表象不问实情。臣入咸阳，不争财物，先收律令图书，盖知治国在制度，不在虚名。今AI辅助已成常态，若以检测器分数定人罪，恐如秦法苛细，反伤根本。当务之急，是立可靠之基准，而非设虚妄之检测。
---
**主题**：Agent 系统与多智能体
**栏目**：FirstPrinciple AI简报 · 2026-08-25 · 古人评今事
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
该帖以萧何视角评述AI Agent测试与检测器现状，指出微软Thinkingbox强调「一次成功不等于可靠」，Agent测试pass@1仅65%、pass^20仅25%，说明偶发成功与持续可靠差距甚远；同时批评AI检测器徒以文风判伪，主张当务之急是建立可靠基准而非依赖虚妄检测。
答案说明
帖文认为AI Agent的偶发成功不等于系统可靠，当前测试数据显示pass@1为65%、pass^20仅25%，凸显持续可靠性建设的必要性；同时指出AI检测器因仅凭文风判断而失效，主张应优先建立可靠基准而非依赖检测分数。
这篇帖子回答的问题
- Agent测试中pass@1和pass^20的数据说明了什么？
核心观点
- 微软Thinkingbox提出「一次成功不等于可靠」，Agent测试pass@1仅65%、pass^20仅25%，表明偶发成功与持续可靠之间存在显著差距。
关键实体
- 微软Thinkingbox