**研究揭示离线蒸馏常优于在线策略蒸馏**

_When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better_

> HuggingFace 社区热门论文指出，在 17 组不同规模的教师-学生模型对中，基于初始学生离线轨迹的“半在线策略蒸馏”（Semi-OPD）在 14 组中表现优于传统在线策略蒸馏（OPD），最高提升准确率 13.6% 并实现 11.4 倍训练加速。研究发现，OPD 仅在师生模型高度对齐时有效，而 Semi-OPD 通过覆盖完整轨迹且暴露更多教师偏好 token，在模型不对齐时表现更稳定，为蒸馏策略选择提供了新依据。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-12 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.11291)