**ELDR：面向PD分离MoE推理的专家局部感知解码路由**

_ELDR: Expert-Locality-Aware Decode Routing for PD-Disaggregated MoE Serving_

> HuggingFace每日论文推荐ELDR，一种针对预填充-解码（PD）分离架构中混合专家（MoE）模型的解码路由器。ELDR利用预填充阶段的专家激活构建签名，通过离线K-means分区和在线局部带宽路由，将请求分配至最匹配的解码器。在vLLM上的测试显示，相比负载均衡基线，ELDR在中位数TPOT上降低了5.9%-13.9%，且不影响模型输出精度。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-07-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2607.00466)