**Specter：通过量化实现多步推测卸载的 MoE 高效推理**

_Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading_

> 针对混合专家模型（MoE）在单卡显存受限及 PCIe 带宽瓶颈问题，Specter 提出了一种结合量化与多步推测卸载的推理系统。该系统利用轻量级量化草稿模型在设备上高效运行，精准预测未来专家激活模式，从而提前组织专家的数据传输与执行。实验表明，Specter 在单请求推理场景下，相比最先进系统平均提升了 1.50 倍的输出令牌生成速度，显著提升了通信与执行效率，使消费级硬件上的 MoE 推理更加可行。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-10-21 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2511.14102)