**STARE：基于意外度引导的令牌级优势重加权实现策略熵稳定**

_STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability_

> 针对大语言模型强化学习训练中常见的策略熵崩塌问题，STARE通过基于意外度分位数的令牌级优势重加权和闭环熵控制门，有效稳定了策略熵。实验表明，该方法在多个模型规模和任务上均能保持长期稳定训练，并在AIME基准上准确率超越DAPO等基线4-8%，同时反思令牌与回答长度协同增加，体现了探索与利用的平衡。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-18 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.19236)