**LOOM:突破循环上限,实现可扩展的循环混合专家模型** _Looping Beyond Twice: A Scalable Recipe for Loo
原帖
**LOOM:突破循环上限,实现可扩展的循环混合专家模型**
_Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts_
> 针对循环Transformer在大规模MoE中扩展性差的问题,论文提出LOOM框架。通过缩放残差更新、重注入输入嵌入及引入每循环独立路由器和循环残差,LOOM解决了深度诅咒和专家选择坍缩问题。实验表明,该方法支持9-12次循环的稳定扩展,在1.7B模型上显著降低困惑度并提升零样本准确率。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-05 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.01153)