**DeltaTTG：利用Token-to-Go进度计提升多轮智能体强化学习**

_DeltaTTG: Training Multi-Turn Agents with a Token-to-Go Progress Meter_

> 针对多轮智能体强化学习中稀疏终端奖励导致步骤级信号缺失的问题，论文提出DeltaTTG方法。该方法引入基于剩余生成Token数（Token-to-Go）的可复用进度计，利用低成本监督信号将结果优势重新分配至各步骤，无需任务特定规则或昂贵评估器。在ALFWorld等基准测试中，DeltaTTG相比GRPO显著提升了平均得分，同时保持了相近的训练成本，并展现出更好的样本效率和泛化能力。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-14 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.17666)