**SparseDecoding：面向高效LLM推理的解码感知剪枝框架**

_SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference_

> 针对LLM解码阶段内存瓶颈及现有剪枝方法存在的分布偏移问题，提出SparseDecoding框架。该框架通过基于自回归生成激活值构建校准矩阵以对齐剪枝目标，并优化稀疏矩阵向量运算内核。实验显示，该方法在Llama和Qwen等模型上显著优于传统校准方法，并在A100 GPU上实现最高1.48倍的端到端解码加速。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-09 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.12327)