**Muon 优化器让混合专家层负载均衡更难**

_Muon Makes the First Mixture-of-Experts Layer Harder to Balance_

> 研究发现在使用 Muon 优化器训练混合专家（MoE）模型时，专家间的负载均衡难度显著增加。实验表明，Muon 会导致第一层 MoE 的负载跨度（最大与最小负载之差）成倍增长，引发严重的负载不均。虽然通过减去批次均值可以缓解此问题，但在小规模模型上降低学习率或仅将路由器切换回 AdamW 优化器，是更有效的解决策略。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-11-04 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.37914)