**顺序即知识：无需温度调优的纯顺序同策略蒸馏 (O³PD)**

_Order-Only On-Policy Distillation_

> 针对传统同策略蒸馏（OPD）受教师温度参数影响且难以复现概率分布的问题，研究提出了顺序即知识（O³PD）方法。该方法仅让学生模型学习教师对候选词排序的偏好，而非具体的概率值。实验表明，O³PD 在数学竞赛数据集上显著优于 OPD，且其性能增益源于排序监督本身，证明了在无需温度调优的情况下，仅通过顺序信息即可高效传递知识。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-11-03 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.02112)