**On-Policy蒸馏真的在蒸馏吗？从噪声教师到自改进**

_Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement_

> 论文分析On-Policy Distillation (OPD)的训练过程，发现教师监督存在大量噪声，且噪声随教师规模增大而增加。学生策略对噪声不敏感，无论是否保留噪声监督都能达到相似性能。研究发现OPD的增益主要来自抑制低log-probability token，无需教师参与。基于此，作者提出On-Policy Self-Adaptation (OPSA)，一种无需教师的监督方法，在AIME24上相比Qwen3-1.7B基线提升35.41分，超越OPD 16.77分。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-01 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2608.31046)