**SparDA：面向高效长上下文LLM推理的稀疏解耦注意力**

_SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference_

> SparDA提出一种解耦的稀疏注意力架构，新增Forecast投影预测下层的KV块需求，通过预取与计算重叠降低PCIe传输瓶颈和O(T^2)选择开销，仅增加<0.5%参数量。在8B模型上，精度持平或略优，预填充加速达1.25倍，解码加速达1.7倍，解码吞吐量最高可提升5.3倍。代码已开源。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-11 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.04511)