**仅需1%的Token：在线策略蒸馏中的梯度估计新方法**

_1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation_

> 稀疏在线策略蒸馏（OPD）只对少量学生生成Token提供教师监督，但教师信号有用时，若用采样下一Token估计梯度，更新反而会引入噪声。作者在固定前缀下从信息几何角度研究该估计问题，提出基于信噪比分解的“信息效率比”（IER），用于衡量最优标量基线下的相对梯度估计误差。通过候选集近似，可将IER与已有的“有用性”分数结合进行Token选择，同时保留采样的反向KL训练目标。在数学与医学推理任务上，加入IER在多种设置下提升了现有选择器；在0.1%–1%的极小Token预算下，稀疏配置即可媲美甚至超过不做Token选择的完整OPD。结果表明，稀疏监督分配应同时考虑Token有用性与梯度估计可靠性。代码已开源。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-22 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.24432)