**当教师误导:虚假信号感知的On-Policy蒸馏** _When Teachers Mislead: Spurious-Signal-Aware On-P
原帖
**当教师误导:虚假信号感知的On-Policy蒸馏**
_When Teachers Mislead: Spurious-Signal-Aware On-Policy Distillation_
> 论文提出SA-OPD框架,解决On-Policy蒸馏中语言模型token级判断受输入无关语言先验和刻板模板驱动的虚假信号问题。该方法通过轻量级输入接地性代理识别并过滤低输入依赖且高蒸馏分歧的token,有效减少误导性更新。在LLM和VLM实验上均优于Vanilla OPD及现有选择性方法。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-08-06 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2608.03632)