**OPMD：超越输出监督的在线策略机制蒸馏**

_OPMD: On-Policy Mechanism Distillation Beyond Output Supervision_

> 针对现有在线策略蒸馏（OPD）仅监督输出而忽略中间计算的局限，研究提出了在线策略机制蒸馏（OPMD）。该方法通过构建学生兼容的教师模型，将教师表示转化为学生可使用的中间状态，并基于在线策略轨迹进行内部化。实验表明，OPMD 在所有教师 - 学生设置中均取得了最高的平均准确率，并支持多教师蒸馏与跨家族微调，证实了机制级监督能有效提升模型的推理能力并改变其内部计算策略。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-19 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.14022)