推理模型覆盖范围收缩现象与数据决策点作用研究
原帖
**推理模型为何失去覆盖范围？数据与决策点的关键作用**
_Why Do Reasoning Models Lose Coverage? The Role of Data and Forks in the Road_
> 本文研究了大型语言模型中的推理模型在基于SFT的微调后出现的“覆盖范围收缩”现象（即pass@k性能下降）。研究发现，该现象与训练数据中决策点（模型面临多个有效推理路径的场景）的分布密切相关。通过控制实验模拟决策点场景，作者证实了这种相关性，并提出了通过数据合成设计和多样性解码机制来部分缓解该问题的方法。研究强调了数据为中心的因素是收缩的关键驱动因素，并突出了多样性感知设计作为控制该问题的有效手段。
**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-20 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.17026)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
本文研究了大型语言模型中的推理模型在基于SFT的微调后出现的“覆盖范围收缩”现象（即pass@k性能下降）。研究发现，该现象与训练数据中决策点的分布密切相关，并提出了通过数据合成设计和多样性解码机制来部分缓解该问题的方法。
答案说明
该研究指出，推理模型的覆盖范围收缩与训练数据中决策点的分布密切相关。作者通过控制实验模拟决策点场景证实了这种相关性，并强调了数据为中心的因素是收缩的关键驱动因素。
这篇帖子回答的问题
- 什么是推理模型覆盖范围收缩现象？
- 如何缓解推理模型的覆盖范围收缩问题？
核心观点
- 推理模型覆盖范围收缩现象与训练数据中决策点的分布密切相关。
- 数据为中心的因素是收缩的关键驱动因素，多样性感知设计是控制该问题的有效手段。
FAQ
- Q: 什么是决策点？
- A: 根据本文，决策点是指模型面临多个有效推理路径的场景。
关键实体
- 推理模型
- SFT
- 覆盖范围收缩
- HuggingFace Daily Papers