DenoiseRL：通过强化学习从弱模型失败路径中提升推理能力的框架
原帖
**DenoiseRL: 引导推理模型从噪声前缀中恢复的强化学习框架**
_DenoiseRL: Bootstrapping Reasoning Models to Recover from Noisy Prefixes_
> 本文介绍了DenoiseRL，一个用于提升大型语言模型推理能力的强化学习框架。该框架通过从弱模型的失败推理路径中学习，替代了对外部监督（如更强教师模型或精心策划数据集）的依赖。它直接将错误的推理轨迹转化为改进机会，从而生成更丰富多样的学习信号，提高探索效率和训练可扩展性。实验表明，DenoiseRL在数学和通用推理基准上均优于现有强化学习基线，并随着训练难度增加增强了模型的自我纠正能力。
**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-28 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.28421)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
2026年5月28日，HuggingFace Daily Papers介绍了DenoiseRL，这是一个强化学习框架，旨在从弱模型的失败推理路径中学习，以替代对外部监督的依赖。该框架将错误推理轨迹转化为学习信号，提高探索效率和训练可扩展性，在数学和通用推理基准上表现优于现有基线。
答案说明
DenoiseRL是一个强化学习框架，通过从弱模型的失败推理路径中学习来提升大型语言模型的推理能力，无需外部监督，在数学和通用推理基准上表现优异。
这篇帖子回答的问题
- DenoiseRL框架如何提升大型语言模型的推理能力？
- DenoiseRL在实验中的表现如何？
核心观点
- DenoiseRL通过学习弱模型的失败推理路径来替代外部监督，从而提升LLM的推理能力。
- 该框架在数学和通用推理基准上的表现优于现有强化学习基线。
FAQ
- Q: DenoiseRL与传统的监督学习方法有何不同？
- A: DenoiseRL通过从弱模型的失败推理路径中学习来提升推理能力，替代了对更强教师模型或精心策划数据集等外部监督的依赖。
关键实体
- DenoiseRL
- HuggingFace Daily Papers