**OASIS:通过验证轨迹克服LLM推理中在线策略自蒸馏的扩展瓶颈**

_Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning_

> 针对在线策略自蒸馏(OPSD)在模型规模扩大时效果衰减的问题,研究提出OASIS方法。通过因子分析发现,脚手架的正确性比上下文正确性对下游准确率影响更大。OASIS保留OPSD目标,但主要监督经过验证的在线策略轨迹,并仅使用最终答案标签作为教师上下文。在Qwen3系列模型上,OASIS平均提升3.2-3.8分,且在8B规模下比OPSD高出3.05分,证明了验证脚手架在模型扩展中的有效性。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-01 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.37915)