**循环混合专家模型缩放定律:联合建模递归与稀疏性** _Scaling Laws for Looped Mixture of Experts_ > 该研究
原帖
**循环混合专家模型缩放定律:联合建模递归与稀疏性**
_Scaling Laws for Looped Mixture of Experts_
> 该研究提出首个联合建模递归(Loop)与稀疏性(MoE)的缩放定律,通过有界稀疏条件递归映射预测模型损失。实验表明,稀疏性提升约3倍活跃参数效率,递归提升约2倍总参数效率,二者结合在万亿token规模下可匹配更大非循环模型性能,为高效模型设计提供理论基础。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-01 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.40316)