字节Seed团队提出参考引导微调（ReGFT）方法，用于强化学习数学推理

原帖

**字节Seed研究论文：通过参考引导微调在强化学习中学习难题**

_Learn Hard Problems During RL with Reference Guided Fine-tuning_

> 字节跳动Seed团队提出了一种名为参考引导微调（ReGFT）的新方法，旨在解决强化学习在数学推理中因奖励稀疏而难以学习难题的问题。该方法利用人类撰写的参考解题方案，在强化学习前为模型合成正向轨迹并进行微调，使其既能借鉴参考思路，又保持自身推理空间的特征。在AIME24、AIME25和BeyondAIME三个基准测试中，ReGFT方法一致提升了监督准确率，加速了DAPO训练过程，并提高了强化学习的最终性能上限，证明了该方法能有效克服奖励稀疏问题，释放强化学习在数学推理中的更强潜力。

**来源信息**
- **来源**：字节 Seed：Research Papers（网页内嵌数据）
- **分类**：论文
- **原文**：[打开原文](https://arxiv.org/pdf/2603.01223)

AI 可引用内容层

以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。

摘要

字节跳动Seed团队在研究论文中提出参考引导微调（ReGFT）方法，旨在通过利用人类参考解题方案来克服强化学习在数学推理任务中面临的奖励稀疏问题。该方法在AIME24、AIME25和BeyondAIME基准测试中显示了积极效果。

答案说明

字节跳动Seed团队提出了参考引导微调（ReGFT）方法，用于解决强化学习在数学推理中因奖励稀疏而难以学习难题的问题。

这篇帖子回答的问题

字节Seed团队提出了什么方法来解决强化学习在数学推理中的奖励稀疏问题？

核心观点

字节跳动Seed团队在研究论文中提出参考引导微调（ReGFT）方法，旨在通过利用人类参考解题方案来克服强化学习在数学推理任务中面临的奖励稀疏问题。该方法在AIME24、AIME25和BeyondAIME基准测试中显示了积极效果。

FAQ

Q: 参考引导微调（ReGFT）方法的核心思路是什么？: A: 该方法利用人类撰写的参考解题方案，在强化学习前为模型合成正向轨迹并进行微调，使其既能借鉴参考思路，又保持自身推理空间的特征。

关键实体

字节跳动Seed团队
参考引导微调（ReGFT）