**LSPD：基于强化学习视角的样本高效LLM推理策略蒸馏**

_An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning_

> 该论文从强化学习角度重新审视在线策略蒸馏（OPD），提出最小二乘策略蒸馏（LSPD）框架。LSPD引入乐观探索与离策略数据重用机制，在保持策略多样性的同时显著提升样本效率。理论分析表明其具有O(log K)的遗憾界，实验显示其在六个数学推理基准上平均提升1.59分，且仅需25%的Rollout批次即可达到传统OPD的性能。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-29 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.35505)