**稠密监督、稀疏更新：同策略蒸馏的稀疏性与几何特性**

_Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation_

> 本文分析了同策略蒸馏（OPD）的参数变化，发现尽管采用稠密的教师监督，OPD式更新仍具有坐标稀疏性，且主要集中在FFN层。仅训练发现的稀疏子网络即可恢复接近全量训练的性能。然而，SGD优化器因无法适应梯度量级的异质性而逊于AdamW。在几何上，更新数值满秩但能谱集中，远离源权重的奇异子空间，并偏向作用于接近零的坐标，表明OPD保留了同策略后训练的重要几何特征。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-15 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.13657)