**利用自生成数据进行中期训练提升语言模型强化学习效果**

_Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models_

> 该研究探讨在强化学习（RL）训练前，通过自生成多样化数据进行中期训练，以提升语言模型（LLM）的性能。研究基于George Polya的问题解决方法，生成每个训练问题的多个正确答案变体，并进行微调。理论分析表明，这种方法能改进RL训练，并激励模型结合多种解题策略。实验证明，使用中期训练数据初始化的RL模型在数学推理基准测试及代码生成、叙事推理等分布外任务上均表现出一致的提升。研究显示，通过自生成数据学习多种解题方法有助于后续强化学习。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-20 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.08472)