**Evolving Infra：面向智能体工作负载的自适应大模型服务框架**

_Evolving Infra: Agent-Adaptive LLM Serving at Scale_

> 针对现有预填充 - 解码（PD）分离服务系统在应对智能体工作负载时存在的灵活性不足及负载不均问题，研究提出了 Evolving Infra 框架。该框架通过解耦计算分配与 KV 缓存管理，实现了运行时对智能体工作负载的自适应调整。实验表明，在 GLM-5.2 和 Kimi K2.6 等模型上，Evolving Infra 相比 NVIDIA 的 Dynamo 框架，将端到端请求延迟和首字延迟分别降低了最高 4.1 倍和 14 倍。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-products
- **发布时间**：2026-11-12 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.12304)