**SynthSelf：通过合成自蒸馏实现小模型持续后训练**

_Continually Post-training Small Models via Synthetic Self-distillation_

> 针对小模型在持续学习中因分布偏移导致的性能下降问题，HuggingFace 社区提出 SynthSelf 方法。该方法利用同家族稍大模型进行合成自蒸馏，结合离策略监督与拒绝采样，在保持原分布的同时提供高质量监督。实验表明，SynthSelf 在多个获取与保留基准上优于现有蒸馏方法，有效推动了小模型持续学习的发展。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-12 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.13113)