**LoopFill:免训练推测解码加速循环 Transformer,推理速度提升 5 倍以上** _LoopFill: Pipelined Multi-To
原帖
**LoopFill:免训练推测解码加速循环 Transformer,推理速度提升 5 倍以上**
_LoopFill: Pipelined Multi-Token Speculative Decoding for Looped Transformers_
> 针对循环 Transformer 在自回归解码时因重复应用层而导致的延迟问题,研究提出了 LoopFill 算法。该方法结合了多 token 后缀草稿与浅层循环预测,在单次草稿树中协同工作,实现了无需训练的推测解码。实验表明,LoopFill 在 Ouro-2.6B 和 Huginn-3.5B 模型上分别实现了 5.85 倍和 5.13 倍的速度提升,显著优于现有最强基线 LoopAhead。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:ai-models
- **发布时间**:2026-11-17 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2611.19649)