**GKE推理网关通过前缀缓存将AI响应速度提升高达92%**

_GKE Inference Gateway delivers up to 92% faster AI responses_

> Google Kubernetes Engine (GKE) 推理网关利用前缀缓存和模型感知路由，智能地将请求导向已缓存模型状态的加速器，避免重复计算。基准测试表明，其吞吐量提高15.7%，等待时间缩短92.8%，令牌间延迟降低62.6%。Snap在生产中实现75-80%的前缀缓存命中率，大幅提升大型语言模型推理效率。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-06-10 00:09（北京时间）
- **原文**：[打开原文](https://cloud.google.com/blog/products/containers-kubernetes/gke-inference-gateway-prefix-caching-accelerates-ai-inference)