**LLaDA MoE v2：扩散语言模型的混合专家缩放研究** _LLaDA MoE v2: Scaling Mixture-of-Experts Diff

**LLaDA MoE v2：扩散语言模型的混合专家缩放研究**

_LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models_

> HuggingFace社区论文提出LLaDA MoE v2，系统研究混合专家扩散语言模型（MoE dLLMs）的缩放规律。该30B-A3B模型在23.5T tokens上从头训练，预训练token数仅为Qwen3的65%，但在多个知识、推理和编码基准上接近Qwen3，经SFT后在8项基准中7项超越SDAR Chat，为MoE dLLMs提供了实用的缩放定律与设计原则。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-08-05 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2608.03457)