**投机解码为何更快？揭秘 GPU 从内存瓶颈到计算瓶颈的转换**

_Why Is Speculative Decoding Fast?_

> 投机解码之所以加速推理，并非因为减少了计算量，而是改变了 GPU 的工作类型。传统单 token 解码受限于内存带宽，而投机解码通过并行验证多个 token，将 GPU 从内存瓶颈推向计算瓶颈，从而充分利用硬件算力，在小批量场景下显著提升生成速度。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-10-19 21:53（北京时间）
- **原文**：[打开原文](https://jbarrow.ai/2026-10-08-why-is-speculative-decoding-fast)