**轨迹精炼蒸馏：解决在线策略蒸馏中的前缀失效问题**

_Trajectory-Refined Distillation_

> 本文发现在线策略蒸馏存在“前缀失效”问题，即逐令牌密集监督导致双峰教师混合和碎片化梯度。为此提出轨迹精炼蒸馏（TRD），在轨迹层面对学生生成序列进行修正，从源头减轻前缀失效，同时改善探索能力，并适用于在线策略自蒸馏。实验表明，TRD在多项基准上一致超越先前方法，提升单次正确率并拓宽推理覆盖范围。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-09 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.08432)