**MALA：基于归一化贡献动态分配计算的高效注意力机制**

_MassAlloc Attention: Let Attention Allocate Its Own Compute_

> HuggingFace 社区热门论文提出 MALA（MassAlloc Attention），一种融合注意力原语。该机制通过保留对因果交互的分数访问，并利用归一化贡献动态分配后分数计算，显著降低低贡献部分的计算开销。实验显示，在 128K 上下文长度下，MALA 将训练前向/反向延迟降低 2.2x/3.0x，推理延迟降低 1.6x，同时在 0.6B 至 14B 参数规模的训练中保持了与 FullAttn 相当的困惑度及长上下文检索能力。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-29 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.32712)