**ReSPO：解决离策略学习中梯度饥饿问题的重塑序列策略优化**

_ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning_

> 针对强化学习中复用轨迹导致的策略不匹配及裁剪机制引发的梯度饥饿问题，提出ReSPO方法。该方法利用基于α-散度的平滑双分支核函数替代传统裁剪，有效保留低权重正样本梯度并抑制高权重负样本干扰。实验表明，ReSPO在Qwen3模型上加速了早期优化，提升了最终训练分数及基准测试性能。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-09 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.35433)