**VRSD：通过语言正则化优化自蒸馏以保留推理熵**

_Self-Distillation with Verbal Regularization_

> 针对在线策略自蒸馏（OPSD）中特权信息导致模型陷入捷径推理及输出熵骤降的问题，提出VRSD方法。该方法利用系统提示词调节教师模型对特权信息的使用，鼓励重新思考与探索。理论推导了提示词对教师分布的影响及熵保持条件。实验显示，VRSD在12个模型-任务组合中的11个上提升了Pass@1指标，平均提升3.9个百分点，同时维持了更高的Token熵。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-14 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.16354)