**Nestor：嵌套稀疏性架构实现可扩展预训练与持续学习**

_Nested Sparsity for Scalable Pretraining and Continual Learning_

> 该研究提出了一种名为 Nestor 的新型架构，通过嵌套稀疏性机制（结合 MoE 算子与注意力算子的稀疏性）替代传统混合专家模型。实验表明，在同等计算量和稀疏度下，Nestor 在语言模型预训练中表现更优，且在持续预训练中能更有效地适应长上下文并减少灾难性遗忘。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-27 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.31818)