**多教师同策略蒸馏存在泛化局限：掩盖了分布外能力缺失**

_On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation_

> 研究指出，多教师同策略蒸馏（MOPD）虽能完美复现分布内能力，却会掩盖分布外（OOD）泛化能力的缺失。实验显示，MOPD 在数学推理等任务中，其分布外表现显著低于基座模型。分析表明，教师能力覆盖不足与数据覆盖局限是造成此“泛化遗忘”的瓶颈。为此，研究提出了基于几何的补丁与基座保持重放策略，以在保留分布内性能的同时改善分布外泛化。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-11-05 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.05609)