**密集奖励在 GRPO 中是否物超所值？匹配计算资源揭示真相**

_Are Dense Rewards Worth Their Tokens in GRPO?_

> 研究通过匹配计算资源（生成 token 数与 GPU 时间）的严格测试发现，尽管蒙特卡洛等密集奖励在单轮更新中表现优异，但在同等计算成本下，其最终效果反而显著低于标准 GRPO。实验表明，标准 GRPO 配合简单的初始学习率调整即可达到与复杂密集奖励相当的效果，这强调了在 AI 训练中验证干预措施时必须考虑计算成本，而非仅看单轮性能。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-11 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.13560)