**Road MOPD:通过跨教师监督缓解多教师蒸馏中的梯度冲突** _Beyond Domain-Routed Supervision: Cross-Tea
原帖
**Road MOPD:通过跨教师监督缓解多教师蒸馏中的梯度冲突**
_Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation_
> 针对多教师在策略蒸馏(MOPD)中因领域差异导致的梯度冲突问题,研究提出 Road MOPD 框架。该方法引入非路由教师作为跨领域评论家,通过跨教师引导的信用分配和梯度投影技术,协调多教师监督,有效减少能力退化并提升多领域任务下的整体性能。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-15 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.13521)