**基于信任域行为混合的策略内蒸馏方法**

_Trust-Region Behavior Blending for On-Policy Distillation_

> 本文提出了一种名为TRB的预热方法，用于改进策略内蒸馏（OPD）训练过程。传统OPD中，学生模型在自身策略采样的前缀上训练，但早期的学生生成结果可能质量不佳，导致教师监督作用于弱或低质量的前缀。TRB通过在学生中心的KL信任域内，用最接近教师行为的策略替换早期生成策略，同时保持每个前缀的反向KL OPD损失不变。KL预算逐渐衰减至零，使训练在预热后回归到纯学生生成。在两个数学推理蒸馏实验中，TRB在比较方法中取得了最优的平均性能。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-01 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.31159)