**从梯度视角看RLVR稳定性与胜者优势策略优化**

_A Gradient Perspective on RLVR Stability and Winner Advantage Policy Optimization_

> 分析了基于可验证奖励的强化学习（RLVR）中GRPO式优化的崩坏问题，通过token级梯度动态推导出影响更新的分类法，指出稳定性取决于优势符号和当前策略下的token分布。提出胜者优势策略优化（WAPO），仅对正优势样本进行更新，提升训练稳定性，在数学推理和多跳问答基准上超越或匹配多个模型系列基线。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-17 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.16154)