**AsyncWebRL：高效多步强化学习训练视觉网页智能体**

_AsyncWebRL: Efficient Multi-Step RL for Visual Web Agents_

> AsyncWebRL 针对多步强化学习训练视觉网页智能体的计算效率问题，提出异步系统设计与轨迹正则化改进。异步设计将 rollout、梯度更新与策略更新重叠执行，结合持久化 rollout 池和轻量截图处理，训练吞吐量提升 2.9 倍。算法上，将多步 GRPO 中按轨迹长度归一化改为常数归一化，解决了失败轨迹过长导致的负梯度弱化问题，缩短轨迹长度并保持成功率。在 WebGym 测试集上，性能相对原有最佳结果提升 5.8%，在难度更高的 Medium 和 Hard 子集上分别提升 42% 和 48%。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-09 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.05597)