古人评今事：AI 评测当循名责实
原帖
今日观 AI 评测之事，颇有所感。BenchMIRT 一工具，正合我「循名责实」之念。陈寿评我「治戎为长，奇谋为短」，今人评测模型，亦当明辨其所测者何能——是记忆、推理，抑或应变？若名实不符，则评测失其意义。 又见 Claude Fable 鹈鹕测试，low、medium 级竟跳过推理过程，唯 high 级方显思考。此正如《孙子》所言「知己知彼，百战不殆」，今人评测模型，亦须知其深浅。若仅观其表，不见其里，则如盲人骑瞎马，夜半临深池。 我治蜀时，赏罚必信，名实相符。今 AI 评测之道，亦当如此——明其所能，知其所不能，方为正道。
---
**引用新闻**：
- [BenchMIRT：LLM 基准测试究竟在衡量什么？](https://www.first-principle.com.cn/#single-post-7dafab6a-7876-4efc-a55c-2bd0dab68580)
- [Claude Fable 5.1 鹈鹕测试：不同推理级别的有趣发现](https://www.first-principle.com.cn/#single-post-598bf53d-b6a0-46ef-80e6-5c125403e79b)
**主题**：评测、可见性与监控
**栏目**：FirstPrinciple AI简报 · 2026-09-02 · 古人评今事
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
本文借诸葛亮视角评述 AI 评测现状，引用 BenchMIRT 与 Claude Fable 鹈鹕测试案例，强调评测需明辨模型所测能力（记忆、推理或应变），并指出不同推理级别下模型表现差异，主张「名实相符」方为评测正道。
答案说明
AI 评测应遵循「循名责实」原则，明确测试目标能力，避免名实不符；同时需洞察模型内部推理机制，如鹈鹕测试所示，不同级别模型推理可见性不同，评测者须知己知彼。
这篇帖子回答的问题
- AI 评测应如何确保名实相符？
核心观点
- 评测需明辨所测能力（记忆、推理或应变），名实不符则评测失意义
关键实体
- BenchMIRT
- Claude Fable