**多教师在线策略蒸馏机制解析:从梯度到能力**

_From Gradients to Capabilities: Understanding Multi-Teacher On-Policy Distillation_

> 该研究深入分析了多教师在线策略蒸馏(MOPD)中教师信号如何影响学生模型参数更新。通过对比 Qwen3-1.7B 及四个领域教师的梯度、优化器更新和学习曲线,发现损失平均化隐含地对响应长度进行加权,Adam 优化器的一阶矩显著平滑了不同教师间的参数更新差异,且 BF16 舍入掩盖了大部分微小权重变化。此外,研究发现基于 Top-64 交集 KL 梯度的蒸馏效果受平均化策略影响显著,在响应平均化下数学准确率优于采样令牌策略梯度。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-05 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.02179)