**DRPO：用平滑二次正则替代硬掩码，提升大语言模型强化学习训练稳定性**

_Rethinking the Divergence Regularization in LLM RL_

> 强化学习已是大语言模型后训练的关键，但训练与推理不匹配导致离线策略问题，需要信任域控制。主流方法采用比率裁剪近似，但在长尾词表上效果不佳；DPPO改用基于散度的硬掩码，却会直接丢弃越界梯度。本文提出DRPO，用平滑的优势加权二次正则替代硬掩码，保留信任域几何的同时提供有界连续梯度权重，能衰减发散更新并修正越界。实验显示DRPO显著提升了LLM RL训练的稳定性和效率。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-10 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.09821)