**dMoE：具有可学习块专家的扩散大语言模型**

_dMoE: dLLMs with Learnable Block Experts_

> 扩散大语言模型（dLLMs）结合混合专家（MoE）架构时存在不匹配：块并行解码与独立token级专家路由导致激活专家数量过多，推理受内存限制。本文提出dMoE，一种块级MoE框架，通过聚合块内token级专家分布形成统一的块级专家分布，从而实现更连贯的路由。实验表明，dMoE将平均激活专家数从69.5降至14.6，保留99.11%性能，内存减少76.64%-79.84%，端到端延迟加速1.14-1.66倍。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-01 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.30876)