自蒸馏策略优化（SDPO）扩展方法用于处理生产环境中的离策略数据
原帖
**修改强化学习以在生产轨迹上训练模型**
_Modifying RL to train models on production traces_
> 本文探讨了在持续学习场景中，如何将自蒸馏策略优化（SDPO）方法扩展到处理离策略数据。传统强化学习方法（如GRPO）依赖于同一任务的多次采样，而实际生产环境中每个用户查询只有一次轨迹，且数据是异步到达的离策略数据。作者提出了一种扩展的SDPO方法，通过利用模型自身的提示策略作为教师，在单条轨迹上进行训练，解决了离策略数据带来的挑战。该方法无需额外的教师模型或人类标签，仅通过反向KL散度更新策略，使模型能从真实生产数据中持续学习。
**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：论文
- **发布时间**：2026-05-28 01:10（北京时间）
- **原文**：[打开原文](https://trajectory.ai/field-notes/scaling-sdpo)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
本文探讨了在持续学习场景中，将自蒸馏策略优化（SDPO）扩展到处理离策略数据的方法。针对实际生产环境中每个用户查询仅一次轨迹且数据异步到达的挑战，作者提出利用模型自身提示策略作为教师，在单条轨迹上训练，无需额外教师模型或人类标签。
答案说明
针对持续学习中离策略数据的挑战，该方法通过扩展自蒸馏策略优化（SDPO），利用模型自身作为教师，在单条生产轨迹上进行训练，无需额外资源，实现从真实生产数据中持续学习。
这篇帖子回答的问题
- 如何将强化学习方法扩展到处理实际生产环境中的离策略数据？
- SDPO方法与传统的GRPO方法在持续学习场景中有何不同？
核心观点
- 扩展的SDPO方法允许模型仅使用单条生产轨迹和自身提示策略作为教师进行训练，从而解决了生产环境中离策略数据带来的挑战。
- 该方法无需额外的教师模型或人类标签，仅通过反向KL散度更新策略，使模型能从真实生产数据中持续学习。
FAQ
- Q: 扩展的SDPO方法如何解决离策略数据带来的挑战？
- A: 该方法通过利用模型自身的提示策略作为教师，在单条轨迹上进行训练，无需额外教师模型或人类标签，仅通过反向KL散度更新策略。
- Q: 为什么传统强化学习方法（如GRPO）在生产环境中面临挑战？
- A: 传统方法依赖于同一任务的多次采样，而实际生产环境中每个用户查询只有一次轨迹，且数据是异步到达的离策略数据。
关键实体
- 自蒸馏策略优化（SDPO）
- GRPO