**Muir：基于敏感性分配门控与匹配滤波读出的线性注意力模型**

_Muir: Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout_

> Muir 是一种新型线性注意力模型，通过敏感性分配门控和匹配滤波读出机制，解决了传统门控模型中擦除与写入操作参数化不平衡及读出不稳定的问题。该模型在保持与 GDN-2 相同推理吞吐量的同时，显著降低了训练时间（32K 长度下快 2.7 倍），并在参数量从 1.66 亿到 13.4 亿之间实现了比 Transformer 更低的困惑度和更高的常识推理准确率。此外，Muir 展现了卓越的长上下文能力，能够将 4K 的训练长度外推至 1000 万 token 而无需性能下降，并在长文本检索任务中表现优异。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-06 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.08376)