**E-MoE:增强混合专家模型提升非因子化扩散语言模型性能**

_E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models_

> 针对掩码扩散模型(MDMs)在少步生成中因位置因子化导致的样本质量限制,论文提出增强混合专家(E-MoE)方法。该方法利用MoE骨干网络的专家路由决策构建离散共享潜变量,将逆向过程建模为因子化分布的混合,在不增加活跃参数的前提下有效捕捉位置间相关性,避免了变分自编码方法中的后验坍缩问题。实验表明,E-MoE在合成多模态基准、二值化MNIST及LM1B数据集上显著提升了少步生成质量。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-02 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.37533)