**开源分布式推理栈 llm-d 1.0 发布，专为智能体与混合算力集群设计**

_LLM-d 1.0, an open source stack for distributed inference_

> Google 联合 Red Hat、IBM 等合作伙伴开源了 llm-d 1.0，这是一个基于 Kubernetes 的分布式大模型推理栈。该版本针对智能体（Agents）和多步骤工作流进行了深度优化，通过缓存感知路由、分层 KV 缓存和多租户流量控制，解决了传统轮询负载均衡在复杂场景下的性能瓶颈。llm-d 1.0 原生支持 Google Cloud TPU 和 GPU，并具备会话感知调度与零停机升级能力，旨在为生产环境提供高可用、低延迟的分布式推理解决方案。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-10-20 19:48（北京时间）
- **原文**：[打开原文](https://cloud.google.com/blog/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference)