**KVServe：面向通信高效解耦LLM服务的、服务感知的KV缓存压缩**

_KVServe: Service-Aware KV Cache Compression for Communication-Efficient Disaggregated LLM Serving_

> 该论文针对大规模语言模型（LLM）在生产环境中推理系统面临的挑战，提出了一种名为KVServe的新型服务感知且自适应的KV通信压缩框架。该框架专门用于解耦式LLM服务（如预填充与解码分离、KV状态解耦）。它通过统一的模块化策略空间、高效的贝叶斯性能分析引擎（减少50倍的离线搜索开销）以及一个结合延迟模型和轻量级多臂老虎机算法的服务感知在线控制器，来动态优化KV缓存的压缩策略，以适应变化的工作负载、带宽和服务质量要求。实验表明，KVServe能将作业完成时间最多加速9.13倍，并将首次生成延迟最多降低32.8倍。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-05-22 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.13734)