**揭示大模型强化学习中训练 - 推理失配根源并提出 DLC 修正方案**

_On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning_

> 该研究深入分析了大模型强化学习中训练与推理失配的两个根源：推理引擎的数值误差与异步采样导致的策略滞后。研究发现，数值误差会引入固定偏差，而策略滞后则形成自我强化的反馈循环。基于此，论文提出了“差异 - 滞后修正（DLC）”方法，通过中心化数值误差、限制滞后比率以及在有效样本量不足时重新同步采样器，成功解决了传统修正方法的局限性，显著提升了训练稳定性并防止了模型坍塌。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-11-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.40945)