**TPPO：基于追踪值PPO提升大模型推理能力**

_TPPO: Tracking-Value PPO For Language Model Reasoning_

> 针对稀疏奖励下标准PPO难以追踪轨迹价值演化的问题，提出TPPO方法。该方法利用贝叶斯分解构建累积价值参数化，通过终端结果监督学习位置标量输出。实验显示，TPPO在Qwen3-4B和8B基座模型上分别提升数学推理分数7.0和8.4分，并显著改善分布外泛化能力及优势估计可靠性。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-14 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.16794)