**ShortOPD：通过短长策略蒸馏恢复剪枝大语言模型**

_ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation_

> 结构化剪枝虽能压缩LLM，但常导致自由文本生成能力崩溃。HuggingFace Daily Papers 推荐的 ShortOPD 方法利用教师模型检测重复后缀，将有效前缀作为采样长度进行策略蒸馏。该方法在数学、代码及开放生成任务中显著提升性能，且训练时间仅为固定长序列方法的四分之一，使剪枝模型更贴近部署就绪状态。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-07-16 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2607.13124)