**HuggingFace论文：在策略蒸馏仅传授推理技能而非新知识**

_On-Policy Distillation Teaches New Skills but Not New Knowledge_

> 该研究通过受控合成框架发现，在策略蒸馏（OPD）能有效迁移组合推理技能，但几乎不传递新的事实知识。实验表明，反向KL散度导致这种不对称性，而前向KL可恢复事实迁移。结论指出，OPD并未扩展模型的参数化知识，而是教会模型如何组织和组合其已有的知识。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-09 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.09639)