**GRAFT：基于跨模型轨迹交换的RLVR强化学习框架**

_Learning Beyond What You Sample: Off-Policy-Aware Cross-Model Trajectory Exchange for RLVR_

> 针对RLVR中因采样预算有限导致全失败组缺乏梯度信号的问题，提出GRAFT框架。该框架利用异构模型在互补提示上的成功轨迹进行跨模型交换，通过门控替换机制及序列级兼容性加权，有效缓解策略不匹配。实验显示，在相同预算下，GRAFT平均提升2.1分，最高提升4.5分，且存储的同伴轨迹可带来持续增益。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-30 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.37868)