**自蒸馏策略梯度**

_Self-Distilled Policy Gradient_

> 本文提出自蒸馏策略梯度（SDPG）框架，将在线策略自蒸馏作为辅助损失，为稀疏奖励的强化学习提供稠密监督。SDPG 结合了分群相对验证器优势、全词表在线自蒸馏和参考策略 KL 正则，在稳定性和性能上优于 RLVR 等基线，代码已开源。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-04 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.04036)