**Denser neq Better:持续后训练中对策略自蒸馏的局限性分析** _Denser neq Better: Limits of On-Polic
原帖
**Denser neq Better:持续后训练中对策略自蒸馏的局限性分析**
_Denser neq Better: Limits of On-Policy Self-Distillation for Continual Post-Training_
> 研究指出,尽管SDPO在稳定教师信号下可加速领域专业化,但在持续后训练中易导致严重遗忘甚至崩溃。相比GRPO等强化学习方法,密集自蒸馏会引发参数和响应空间的更大漂移,并放大高频格式伪影,证明仅靠对策略数据不足以实现稳健的持续学习。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-07-03 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2607.01763)