**Omni Cache：以内存为中心的KV管理与推理加速**

_Omni Cache：以内存为中心的KV管理与推理加速｜AICon上海_

> 本次演讲介绍Omni Cache的DRAM-Centric KV管理架构，针对传统PagedAttention中KV缓存静态预分配于HBM导致与激活张量竞争显存的问题，提出以内存为中心的方案，实现LLM推理加速。

**来源信息**
- **来源**：InfoQ 中文站（网页）
- **分类**：ai-products
- **发布时间**：2026-06-11 08:00（北京时间）
- **原文**：[打开原文](https://www.infoq.cn/article/ouEuzmbM0dXLfO0pbNpt)