**HuggingFace每日论文：通过延迟自适应信任域稳定异步强化学习**

_Stale but Stable: Staleness-Adaptive Trust Regions for Stabilizing Asynchronous Reinforcement Learning_

> 针对异步强化学习中因策略滞后导致的更新不稳定问题，研究提出延迟自适应信任域（SAT）。该方法利用采样对数比率作为延迟代理，通过核缩放识别高失配尾部并收缩PPO区间端点，从而在保持常规标记行为的同时对高延迟更新施加更保守约束。在Qwen3-30B-A3B上的实验表明，该方法有效对齐了剪辑区间与延迟异质性，显著提升了异步RL的稳定性与性能。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-07-22 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2607.18722)