**RGPO:通过自适应推理脚手架缓解强化学习奖励稀疏性**

_Rationale-Guided Policy Optimization: Learning to Reason with Adaptive Rationale Scaffolding_

> HuggingFace 社区热门论文提出 RGPO 框架,旨在解决大语言模型强化学习中因奖励稀疏导致的优化停滞问题。该方法将真实推理路径作为临时脚手架辅助模型生成,仅将高奖励的模型自生成解回传至无引导环境,无需辅助数据严格匹配 RL 任务格式。实验表明,RGPO 在纯文本及视觉语言推理任务中均优于 RLVR 基线,有效提升了推理性能并稳定了训练过程。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-07 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.07342)