**VIA-SD：利用模型内路由实现多级推测解码，加速大模型推理**

_VIA-SD: Verification via Intra-Model Routing for Speculative Decoding_

> VIA-SD提出一种多级推测解码框架，根据词元置信度分层处理：高置信度直接接受，中等置信度使用从完整模型内部路由派生的轻量校验器再生，低置信度才调用大模型验证。该方法大幅降低大模型调用次数，在多个任务上拒绝率降低0.10-0.22，推理速度提升10-20%，相比无草案解码提速2.5-3倍，且兼容现有推测解码方法。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-12 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.12243)