**RIDE:通过外推RL表示残差实现超越教师的在线策略蒸馏**

_The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation_

> 针对在线策略蒸馏中输出空间外推导致的训练不稳定问题,论文提出RIDE方法。该方法直接在表示空间外推强化学习(RL)引起的表示残差,通过回归学生隐藏状态至沿RL方向超越教师的目标,有效避免了语言模型头对各向异性变化的衰减及噪声放大。实验表明,RIDE在多种模型架构上均能接近或超越RL教师模型,且性能优于传统的输出空间外推方法。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-01 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.36484)