**OPRD：基于策略的表征蒸馏**

_OPRD: On-Policy Representation Distillation_

> 提出一种新的知识蒸馏方法OPRD，通过在隐藏状态空间中对齐师生模型来消除采样方差，提供更丰富的层级结构信息。在AIME和AIMO基准上缩小了师生差距，训练速度提升1.44倍，内存占用减少54%。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-05 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.06021)