**重新审视高效注意力在混合架构中的作用**

_Rethinking the Role of Efficient Attention in Hybrid Architectures_

> 该论文系统分析了结合完整注意力和高效注意力（如滑动窗口注意力和循环序列混合器）的混合架构。从缩放角度看，高效注意力设计主要影响长上下文能力的涌现速度，但充足训练下最终性能趋同；机制分析发现，长程检索主要由完整注意力承担，高效注意力优化其训练轨迹，并揭示“大窗口惰性”现象；据此，仅在完整注意力层应用NoPE可大幅提升长上下文性能且对短上下文影响极小。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-17 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.15378)