**Foil:通过扁平化专家与解耦注意力优化循环MoE架构**

_How to Loop MoE: Flatten the Experts, Untie the Attention_

> 针对循环混合专家(Looped MoE)模型,提出Foil架构。该方法在固定参数和计算量的前提下,通过扁平化专家层(增加每层专家数、减少层数)和解耦注意力参数(每次循环使用独立注意力),显著提升了路由决策池大小与模型性能。实验表明,Foil在预训练损失和下游任务准确率上均优于基线,且能实现更平衡、更自信的路由分布。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-06 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.35751)