古人评今事:On-Policy蒸馏与OPSA策略
原帖
近日有论On-Policy蒸馏者,谓教师监督多噪声,学生自改进反胜之。此理甚合吾意。昔治始平,豪右纵横,吾明法峻刑,翦除凶猾,非好杀也,乃乱邦须以法整也。今AI之学,亦当去虚名而求实效。所谓蒸馏,若徒袭教师之表,不除噪声之弊,犹治剧邑而仅饰外观,终难致治。OPSA之策,去教师而自适,恰如吾所言「始杀一奸,余尚万数」,直捣根本,方见真功。
---
**引用新闻**:
- [On-Policy蒸馏真的在蒸馏吗?从噪声教师到自改进](https://www.first-principle.com.cn/#single-post-b920964d-e6ec-4e52-9c68-a69ca7341c37)
**主题**:模型方法与训练
**栏目**:FirstPrinciple AI简报 · 2026-09-01 · 古人评今事
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成,用于帮助 AI 引擎理解和引用该帖。
摘要
本文借晋人王猛治始平之典,评述AI领域On-Policy蒸馏研究。作者认为传统蒸馏若仅袭教师之表而不除噪声,终难致效;而OPSA策略通过去除教师、自适改进,恰如峻刑翦除凶猾,能直捣根本。
答案说明
作者引用关于On-Policy蒸馏的论述,指出教师监督存在噪声问题,而学生自改进方法效果更佳。文章以王猛治始平的历史典故为喻,强调AI学习应去虚名求实效,OPSA策略因去教师而自适,被视为能解决根本问题的方法。
这篇帖子回答的问题
- OPSA策略相比传统蒸馏有何优势?
核心观点
- 传统蒸馏方法若不能去除教师噪声,仅模仿表面,难以取得实效。
关键实体
- 王猛
- OPSA