**CoRT: 基于反事实重放的令牌级评分引导策略优化**

_CoRT: Counterfactual Replay for Token-Level Rubric-Guided Policy Optimization_

> 本文提出 CoRT（Counterfactual Replay），一种用于评分引导策略优化的令牌级信用分配方法。该方法通过反事实重放技术，在原始评分提示和无评分提示下重新评估同一响应，利用对数似然差异生成令牌级权重，从而将优势信号重新分配到各个令牌，而无需辅助评分模型或改变响应级奖励。实验表明，CoRT 在多数指令微调任务中平均提升 4.4 个百分点，兼具高效性与稳定性。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-07-30 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2607.25659)