**并非所有分歧都可学习：在线策略蒸馏中的Token可教学性**

_Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation_

> 研究发现在线策略蒸馏中教师信号并非所有分歧都有学习价值，提出可教学性概念，并设计TA-OPD方法，仅用5%的token即超越全token蒸馏效果，优于基于熵或分歧的选择方法。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-01 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.26844)