**vLLM 推出基于推送的 KV 传输技术，优化解耦推理性能**

_Push-Based KV Transfer to Improve TTFT, TPOT for Disaggregated Inference in vLLM_

> vLLM 推出了基于推送（Push-based）的 NIXL 连接器，用于优化大模型（LLM）的解耦推理。该技术通过在预填充（Prefill）阶段提前协调并直接将 KV 缓存写入解码（Decode）内存，减少了串行等待时间。在 AWS EFA 环境下的测试显示，该优化可显著降低首字延迟（TTFT）并提升每输出令牌时间（TPOT）表现。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-10-16 02:41（北京时间）
- **原文**：[打开原文](https://vllm.ai/blog/2026-10-14-nixl-push-connector)