**KVpop:基于预测在线剪枝的KV缓存压缩方法**

_KVpop -- Key-Value Cache Compression with Predictive Online Pruning_

> 针对自回归解码中KV缓存增长导致的内存瓶颈,HuggingFace社区论文提出KVpop方法。该方法通过监督保留或丢弃决策来学习固定预算的KV缓存策略,并利用未来注意力信号进行训练。实验显示,在Qwen3-4B模型上,KVpop在75%压缩率下保持98%的全注意力性能,显著优于现有基线,有效降低内存成本的同时维持推理质量。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:ai-models
- **发布时间**:2026-07-07 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2607.05061)