**MSAR：多流注意力残差架构实现1.58倍计算加速**

_Multi-Stream Attention Residuals_

> HuggingFace社区热门论文提出多流注意力残差（MSAR），将注意力机制沿网络深度轴扩展为多头形式。该架构通过多尺度因果卷积获取序列上下文多样性，结合轻量级自适应混合生成输入，无需持久化多流存储。在18B和28B MoE规模下，MSAR在12项基准测试中均优于标准残差及AttnRes等变体，相比标准残差基线实现1.58倍的等损失计算加速，展现出大规模预训练潜力。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-13 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.13630)