**投机性管道解码：通过管道并行实现更高精度与零气泡的投机解码**

_Speculative Pipeline Decoding: Higher-Accruacy and Zero-Bubble Speculation via Pipeline Parallelism_

> 本文提出投机性管道解码（SPD）框架，旨在解决现有投机解码方法在多令牌预测中面临的预测难度递增和串行草稿延迟问题。SPD通过将目标大语言模型划分为多个管道阶段，并行处理多个令牌以加速解码。其创新之处在于引入投机模块，在单序列解码中聚合不同管道深度的中间特征来预测下一令牌，并与目标模型的管道步骤严格并行执行，从而实现有限的预测难度、更高的接受率和零延迟气泡。实验表明，SPD相比主流基线方法具有显著更高的理论加速比，为LLM解码加速提供了一种高度可扩展的解决方案。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.30852)