**用于离散策略优化的引导对比式令牌信用分配**

_Guidance Contrastive Token Credit Assignment for Discrete Policy Optimization_

> 本文提出了一种名为引导对比策略优化（GCPO）的新算法，旨在解决现有基于群体优势的强化学习方法（如GRPO和DAPO）在信用分配上的局限性。这些方法通常依赖样本级奖励，对所有令牌进行统一信用分配，难以捕捉细粒度的令牌级贡献。GCPO通过对比模型在正面和负面提示下的预测，实现了逐令牌信用分配，根据这些对比预测的差异为每个令牌分配优势值。实验表明，GCPO在文本到图像生成和思维链推理任务中，能更关注语义相关区域和关键令牌，性能显著优于GRPO和DAPO基线，证明了其作为离散策略学习通用且可扩展优化策略的有效性。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-01 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.29198)