**HuggingFace 论文:在线蒸馏缓解 RL 后训练的长度膨胀问题**

_Mitigating the Length-Scaling Tax with Online Distillation_

> 针对强化学习后训练中模型回答冗长的问题,该论文提出“长度自蒸馏”(LSD)方法。LSD 对已解决的任务采用在线策略蒸馏,对未解决任务保留 RL 目标,无需外部教师模型。实验显示,LSD 在保持或提升性能的同时,显著降低了简单查询下的回答长度,有效缓解了“长度扩展税”。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-01 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.38854)