**HuggingFace论文:重思跨分词器在线策略蒸馏,从对齐覆盖转向监督可靠性**

_Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability_

> 该论文研究了跨分词器在线策略蒸馏(OPD)中的对齐问题。研究发现,尽管词汇表存在差异,严格的1:1对齐组已覆盖大部分学生生成的token,且共享词汇表保留了几乎全部概率质量。实验表明,限制反向KL散度在严格对齐位置的top-16子集上,其效果优于全共享词汇表OPD及现有基线。此外,在失配组添加均方误差监督虽实现了完全覆盖,但因梯度方向冲突导致准确率下降。结论指出,应优先保证监督信号的可靠性,而非单纯追求对齐覆盖范围。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-07 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.08448)