**超越统一令牌级信任区域：CPPO提升大模型强化学习稳定性**

_Beyond Uniform Token-Level Trust Region in LLM Reinforcement Learning_

> 现有PPO方法对所有令牌统一施加信任区域约束，忽略了自回归生成中早期令牌偏差的复合效应。论文提出CPPO，通过位置加权阈值和累积前缀预算机制，动态限制令牌级更新，有效提升训练稳定性与推理准确性。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-10 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.10968)