**OpenWebRL：揭秘视觉网页代理的在线多轮强化学习**

_OpenWebRL: Demystifying Online Multi-turn Reinforcement Learning for Visual Web Agents_

> 本文介绍了OpenWebRL，这是一个用于在真实网站上通过在线多轮强化学习（RL）训练视觉网页代理的开源框架。框架涵盖了完整的训练流程，包括可扩展的浏览器基础设施、监督初始化、多模态上下文管理、轨迹级成功判断和高效策略优化。基于此框架训练的OpenWebRL-4B模型在Live-Mind2Web和DeepShop等挑战性基准上达到了开源系统的新最佳水平，性能接近OpenAI和Gemini等专有系统。研究还系统地分析了使在线RL对视觉网页代理有效的关键设计选择，并探讨了RL如何改进代理推理能力。该项目将发布训练数据、模型和代码，为构建更强大、可复现且成本效益高的开放网页代理提供了实用路径。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.02031)