**DN-MOPD：通过域归一化解决多教师蒸馏中的反馈失衡问题**

_Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation_

> 针对多教师在线策略蒸馏（MOPD）中不同领域反馈强度不均导致学生模型性能受限的问题，研究提出域归一化多教师在线策略蒸馏（DN-MOPD）。该方法在保持原有路由机制的基础上，根据各领域反馈的实测分布进行重新缩放，有效抑制了指令遵循领域过强的反馈干扰。实验表明，DN-MOPD 在多个基准测试中显著提升了平均得分，并恢复了数学领域的性能增益，证明了在合并专家模型时，平衡反馈强度与选择教师同等重要。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-29 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.35347)