**不仅关注位置，更关注时间：强化学习可验证奖励中的时序调度策略**

_Not only where, But when: Temporal Scheduling for RLVR_

> 这篇论文针对大语言模型（LLM）后训练中的关键技术——可验证奖励强化学习（RLVR）提出了一种改进方法。传统方法在优化策略时，对轨迹中所有标记使用全局奖励，忽略了不同标记在训练过程中的行为差异。现有信用分配技术（如标记级优势重加权）的分配标准在训练中保持不变，限制了策略的适应性进化。本文创新性地引入了时序维度，提出在RLVR优化过程中动态调整信用分配标准，即‘时序调度’。研究发现，优先关注具有特定行为的目标标记，并逐渐过渡到通用优化，能实现更稳定高效的学习动态。此外，论文利用轨迹百分位数来区分策略行为，并证实了时序调度的有效性。分析表明，标准优化在同时处理异质行为时会显著牺牲策略熵，而时序调度能带来更健康的策略进化。在数学和通用推理基准上的实验均显示了一致的改进，表明时序调度是一个有前景的优化维度。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.25381)