**SMELT：计算匹配下MoE循环Transformer的扩展规律研究**

_SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers_

> HuggingFace社区热门论文提出SMELT方法，通过在MoE Transformer中循环中间层，在严格匹配计算预算的前提下实现更快的损失下降，节省6.8%-18%训练FLOPs，优势在代码任务上最为显著。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.01343)