**超越熵：基于对比策略优化的正确性感知优势塑造**

_Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization_

> 提出对比策略优化（CPO），利用参考引导与原始生成分布间的词级对比分歧进行正确性感知优势塑造，解决传统熵方法无法区分有用不确定性与有害混淆的问题。实验表明，CPO在域内和域外基准上均显著优于基于熵的强化学习方法，并有效解决了零优势问题。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-07-20 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2607.14614)