**DRIFT：通过解耦轨迹生成与重要性加权微调实现高效的多轮优化**

_DRIFT: Decoupled Rollouts and Importance-Weighted Fine-Tuning for Efficient Multi-Turn Optimization_

> 该论文提出了DRIFT框架，用于优化大型语言模型在多轮交互场景中的行为。传统方法中，在线强化学习效果虽好但成本高昂，离线监督微调（SFT）效率高但存在分布偏移问题。DRIFT通过解耦轨迹生成（从固定参考策略采样离线交互轨迹）与优化过程（基于重要性加权的监督微调），在理论层面等价于KL正则化强化学习目标，实验证明其在保持SFT效率的同时，性能匹配或超越多轮强化学习基线。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-01 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.31455)