**小型模型是GRPO策略级多样性的天然探索者**

_Smaller Models are Natural Explorers for Policy-Level Diversity in GRPO_

> 研究发现同族小模型天然具有更高的策略级多样性，与令牌级噪声不同，该多样性保持时序连贯与逻辑一致。据此提出S2L-PO框架，以固定小模型为探索者训练大模型，并设计渐进退火策略无缝过渡，避免训练中期性能下降，在数学推理基准上显著提升准确率（如AIME 24 +8.8%）且降低推理计算。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-15 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.30789)