**Draft-OPD：用于推测性草案模型的策略蒸馏**

_Draft-OPD: On-Policy Distillation for Speculative Draft Models_

> 该论文提出一种名为 Draft-OPD 的新方法，用于优化大型语言模型（LLM）的推测性解码过程中的草案模型。传统监督微调（SFT）方法因离线训练与推理时策略不匹配而效果有限。Draft-OPD 结合目标辅助生成和错误位置重放，使草案模型能从目标模型对接受和拒绝建议的反馈中学习，专注于提升推测接受率。实验表明，该方法在多种任务上实现了超过5倍的无损加速，比现有方法 EAGLE-3 和 DFlash 分别提升23%和13%。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.29343)