**ExpRL：利用参考解作为奖励支架的探索性强化学习中间训练方法**

_ExpRL: Exploratory RL for LLM Mid-Training_

> ExpRL 在 LLM 中间训练阶段引入强化学习，不直接模仿参考解，而是将其隐藏并用作评判标准，为模型自产生的推理链提供稠密奖励。该方法在数学推理任务上优于 SFT、稀疏奖励 GRPO 和自蒸馏，且能为后续稀疏奖励 RL 提供更好的初始化。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-16 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.17024)