**QGF：在测试时通过梯度引导提升流策略的强化学习新方法**

_Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning_

> QGF（Q-Guided Flow）是一种强化学习算法，完全在测试时进行策略优化。它预先训练一个流策略（通过标准行为克隆）和一个价值函数批评家，然后在测试时使用价值梯度引导参考策略生成更高价值的动作，无需额外的策略学习。在高维动作空间的单任务和目标条件离线RL基准测试中，QGF优于先前的测试时RL方法，并与最先进的训练时算法性能相当，同时运行成本更低。通过避免演员-评论家训练的不稳定性，该方法在大模型规模下展现出良好的扩展性，为使用表达性策略的强化学习提供了一种实用且有效的替代方案。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-10 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.11087)