**EasyPPO：通过稳定 Critic 提升 LLM 强化学习鲁棒性**

_EasyPPO: Stabilizing the Critic Is Key_

> 针对 PPO 中 Critic 不稳定导致 LLM 训练失效的问题，提出 EasyPPO 方法。通过仅对 Actor 进行截断过滤、基于噪声归一化的 Critic 回归及优化 Mini-batch 策略，有效解决截断偏差与高方差提示主导更新的问题。在代码、数学推理及多轮搜索任务中，EasyPPO 显著优于原生 PPO 等基线，验证分数最高提升 14.89%。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-30 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.36802)