**LT-OPD：通过在线自蒸馏实现极端视觉Token压缩**

_Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction_

> 针对多模态大模型在极低视觉Token预算下性能急剧下降的问题，HuggingFace社区热门论文提出LT-OPD框架。该方法利用全Token模型作为教师，对仅使用少量视觉Token的学生模型进行在线自蒸馏，并引入预算级课程学习以稳定训练。实验显示，在Qwen3.5-4B上，该方法将5%视觉Token保留率下的平均性能从68.6%提升至82.3%，同时减少85%以上的KV缓存和预填充计算量，且效果可迁移至其他主流模型。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-29 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.32353)