**混合注意力LLM多语言特性研究:全注意力层前置可加速2.5倍**

_Multilinguality in Hybrid Attention LLMs_

> 该研究首次探讨混合注意力机制对LLM多语言能力的影响。可解释性分析发现,跨语言表征与递归层和全注意力层的排列顺序密切相关,且在首个全注意力层附近出现显著对齐峰值。蒸馏实验表明,将全注意力层置于递归层之前的非标准排列,在所有训练阶段均优于传统顺序,学习速度提升高达2.5倍。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-07 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.35378)