**Flash-dLLM：面向扩散大语言模型的IO感知KV缓存与并行解码加速框架**

_Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs_

> 扩散大语言模型（dLLM）支持非自回归文本生成，但推理效率低，主因是缺乏有效的KV缓存与可扩展并行解码。现有加速方法通常将两者分开研究，忽略了缓存复用与并行token验证同时应用时的I/O瓶颈。为此，研究者提出免训练推理加速框架Flash-dLLM：先定位GPU显存I/O为主要瓶颈，设计I/O感知的融合KV缓存内核以减少冗余内存搬运；再基于该缓存机制提出KV缓存驱动的草稿—验证解码策略，由dLLM自身同时充当草稿模型与验证器，无需辅助模型。该统一设计在保持生成质量的同时加快解码，并提升对长序列和大批次的扩展性。在数学推理与代码生成基准上，Flash-dLLM的推理速度和显存效率均稳定优于现有最优方法，在GSM8K和HumanEval上分别较最强基线Elastic-Cache取得5.1倍和11.0倍加速。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-23 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.26796)