**ESPO：基于早期停止的近端策略优化**

_ESPO: Early-Stopping Proximal Policy Optimization_

> 在大型语言模型（LLM）的强化学习中，若推理轨迹早期出现错误，标准算法会强制模型继续生成至最大长度，浪费算力且引入干扰信号。本文提出ESPO算法，通过实时计算代理后悔值（仅利用采样过程中已有的logits）来检测轨迹失败，并在累积后悔值显著超出估计值时提前终止生成。该方法将截断轨迹视为吸收失败状态并赋予终止奖励，无需额外奖励模型或人工标注，即可集中负时序差分误差。在DeepSeek-R1-Distill-Qwen-7B模型的数学推理任务中，ESPO在AIME 2024、AMC 2023和MATH-500测试集上均优于标准PPO算法（例如准确率分别达46.28% vs 45.25%），同时节省超过20%的生成token。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.29860)