**P^2-MOPD：通过参数先验加速多教师同策略蒸馏**

_P^2-MOPD: Accelerating Multi-Teacher On-Policy Distillation via Parameter Priors_

> 该研究提出 P^2-MOPD 框架，将学生与专家参数的线性组合视为可微分模型，从而在同策略蒸馏目标下联合优化混合系数与学生权重。与传统的任务算术方法不同，该方法保持学生模型可训练，利用专家作为参数先验而非将其限制在固定参数空间中。实验显示，在 1.7B 和 4B 规模模型上，P^2-MOPD 相比 MOPD 收敛更快且恢复更均衡，最终 1.7B 模型的平均恢复率达到 94.7%，显著优于 MOPD 的 80.9%。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-11-09 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.03953)