**混合架构中的竞争学习：为何现代循环层会抑制注意力机制？**

_Competing Learning in Hybrid Architectures_

> 该研究揭示了混合架构（结合线性循环与 softmax 注意力）中的“竞争学习”现象：循环层因学习检索函数更快，会抑制注意力层的学习信号，导致后者失效。论文提出分阶段训练策略，先训练循环层再冻结其权重，使注意力层能有效学习检索，从而在语言建模、常识推理及多长度检索任务上显著提升模型性能。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-20 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.26830)