**Tangram：解锁非均匀KV缓存压缩，实现高效多轮LLM服务**

_Tangram: Unlocking Non-Uniform KV Cache Compression for Efficient Multi-turn LLM Serving_

> 多轮LLM服务中，KV缓存膨胀带来内存瓶颈。非均匀压缩虽保精度，但现有服务栈面临碎片化与负载不均。Tangram通过离线校准头部保留、预算预留、错页分页及预计算负载均衡，静态化解上述问题，在vLLM上实现端到端吞吐最高2.6倍提升，且保持模型精度。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-products
- **发布时间**：2026-06-16 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.06302)