**每个 Token 都需要专属导师：多导师自适应在线自蒸馏方法**

_Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation_

> 论文提出 MTA-OPSD 方法，首次实现基于 Token 级别的自适应在线自蒸馏。该方法通过构建多导师池，让每个 Token 在训练时动态选择最适合的导师，解决了现有方法无法针对同一响应内不同 Token 的偏好差异进行针对性指导的局限。在 Qwen3 数学推理任务上的实验表明，该方法平均性能提升 5.9%。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-04 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.40574)