**深度优于宽度：推测解码中的吞吐量权衡分析**

_Width vs. Depth: Speculating on the Margin_

> 文章探讨了在推理引擎中，将计算资源用于批量处理多个序列（宽度）还是推测解码单个序列（深度）的效率问题。通过建模发现，即使推测接受率较低，深度策略也能产生更高的每秒输出令牌数。这主要归因于MoE架构中专家路由的非均匀分布特性，使得连续位置的推测比随机批量的处理更具效率。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-07-02 22:52（北京时间）
- **原文**：[打开原文](https://blog.doubleword.ai/speculating-on-the-margin)