**S²D-OPD:通过选择性监督优化直接在线策略蒸馏**

_Not Every Token Is Worth Distilling: Selective Supervision for Direct-OPD_

> 针对直接在线策略蒸馏(Direct-OPD)中监督信号可能失效的问题,研究提出S²D-OPD方法。该方法利用教师模型参考的Jensen-Shannon散度对状态进行排序,仅保留高散度状态(前10%)进行监督,屏蔽低散度状态。实验表明,在AIME和HMMT基准测试中,该方法在无需额外前向传播的情况下,显著提升了1.7B至8B参数学生模型的准确率。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-01 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.29142)