**开源推理控制平面 Kinference 发布：为 vLLM 与 Kubernetes 打造可扩展平台**

_Kinference: Open-source inference control plane for vLLM_

> Buoyant 推出了开源项目 Kinference，旨在为 vLLM 和 Kubernetes 构建可扩展的推理平台。该工具通过引入 KV 缓存感知负载平衡和策略驱动机制，显著提升了分布式推理性能，在基准测试中将首字延迟降低了 95%，吞吐量提升了 3.5 至 7.4 倍，并支持租户成本追踪与智能路由。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-11-05 18:21（北京时间）
- **原文**：[打开原文](https://vllm.ai/blog/2026-11-04-introducing-kinference)