**面向MoE训练的分层优化器状态分配方案**

_Where Should Optimizer State Live? Tiered State Allocation for Memory-Efficient Mixture-of-Experts Training_

> 针对混合专家（MoE）训练中优化器状态占用内存过大的问题，研究提出SkewAdam优化器。该方案根据骨干网络、专家层和路由器的不同特性进行分层状态分配，将优化器状态压缩至AdamW的2.6%，峰值训练内存从81.4GB降至31.3GB，成功适配40GB显卡。实验表明，该方法在大幅降低显存占用的同时未损失精度且验证困惑度更优，证明优化器状态的分配策略对MoE训练至关重要。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-07-22 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2607.19058)