**OPD先于RL:利用在线策略蒸馏预热基于评分标准的强化学习**

_OPD Before RL: Warm-Starting Rubric-Based RL with On-Policy Distillation_

> 针对基于评分标准的强化学习(Rubric-based RL)中奖励信号稀疏且无法定位具体决策的问题,本文提出两阶段训练框架。第一阶段通过“评分标准特权在线策略蒸馏”(RP-OPD),让无评分标准访问权限的学生模型匹配拥有评分标准教师模型的Token级分布,提供密集监督;第二阶段再进行基于评分标准的RL优化。在HealthBench等基准测试中,该框架表现优于SFT+RL基线,且有效缓解了奖励黑客现象,证明了在应用RL前利用评分标准进行在线策略蒸馏的有效性。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-07 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.02781)