**vLLM 推出 TorchTPU 后端：零拷贝 KV 缓存与 TPU disaggregated 推理**

_vLLM TorchTPU: Zero-copy KV cache offloading and disaggregated serving_

> vLLM 与 Google 合作推出 vLLM TorchTPU，这是首个基于 TorchTPU 的 vLLM 后端。该方案利用 Pallas 内核优化 TPU 上的注意力与量化矩阵乘法，支持零拷贝 KV 缓存卸载及多主机分布式推理。其核心优势在于复用 vLLM 现有模型代码与 API 体验，使开发者能无缝将主流模型迁移至 Google Cloud TPU，显著降低 TPU 推理门槛并提升性能。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-10-23 01:25（北京时间）
- **原文**：[打开原文](https://vllm.ai/blog/2026-10-20-vllm-torchtpu)