**Meta Expert：跨层专家共享实现存储与检索高效 MoE 模型**

_Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE_

> 针对主流 MoE 模型存在的层间专家冗余问题，Meta Expert 提出跨层专家共享机制。该模型通过共享不同层级的专家，显著降低了参数冗余并提升了下游任务准确率。在激活数量和专家粒度固定的前提下，Meta Expert 仅需使用 70-80% 的专家即可匹配 Vanilla MoE 的性能，同时其灵活的残差路径设计进一步改善了信息检索效率。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-23 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.27598)