**TokenRouter：高效Token级LLM路由推理服务系统**

_TokenRouter: Efficient Serving System for Token-Level LLM Routing_

> 针对Token级LLM路由中存在的步骤不同步和批处理延迟问题，清华团队提出TokenRouter系统。该系统采用请求中心编程与模型中心执行架构，通过为每个LLM启动子服务器并应用基于数学模型的延迟批处理调度器，实现了2.01至64.15倍的解码吞吐量提升，显著优化了细粒度路由的推理效率。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-09 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.12242)