**TAO：面向 LLM 智能体服务的工具感知联合调度框架**

_TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving_

> 针对现有系统在评估智能体服务时忽视工具就绪状态、以及依赖启发式策略导致调度次优的问题，研究提出了 TAO 框架。该框架通过结合近端工具就绪度、节点特定缓存信用及时间衰减机制的价值接口，利用动态规划在容量约束下联合选择与放置等待会话。实验表明，TAO 在 12 种模型 - 工作负载 - 并发度设置下，相比最先进基线，延迟降低最高 26.8%，首字时间降低最高 36.3%，解码吞吐量提升最高 29.5%。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-products
- **发布时间**：2026-10-29 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.37230)