**β-OPSD：结合策略优化与自蒸馏的推理模型训练方法**

_β-OPSD: Deriving with Policy Optimization, Training with Self-Distillation_

> HuggingFace社区热门论文提出β-OPSD，将vanilla OPSD中的隐式参数β转化为可控的正则化参数，通过几何插值在参考策略与教师策略之间取得平衡。该方法将策略优化的闭式解转化为蒸馏目标，通过混合token级logits高效实现，避免了直接优化强化学习目标的高成本与高方差。数学推理实验表明，β-OPSD在优化稳定性和下游推理性能上均优于传统OPSD。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-07-31 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2607.28582)