**重新思考在线策略蒸馏中的相对策略差异迁移**

_Rethinking Relative Policy Differences Transfer of On-Policy Distillation_

> 该论文提出统一视角，将代理专家与参考策略的对数概率比定义为KL正则化策略优化的隐式奖励，实现任意模型间的策略差异迁移。实验发现：任务特定训练（如RL/SFT）产生的差异比单纯规模差异更易迁移；专家提供能力，参考策略过滤共享行为以隔离关键残差；且迁移成功取决于更新方向及泛化能力，而非原始策略距离。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-12 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.13205)