**MiniMax 稀疏注意力**

_MiniMax Sparse Attention_

> 针对超长上下文场景中 softmax 注意力的二次方计算成本问题，提出 MiniMax 稀疏注意力（MSA）。MSA 基于分组查询注意力（GQA），通过轻量索引分支为每个 GQA 组独立选择 Top-k 键值块，主分支仅在所选块上执行精确的块稀疏注意力。为将稀疏性转化为实际加速，MSA 协同设计了免 exp 的 Top-k 选择与 KV 外积稀疏注意力的 GPU 执行路径，提高张量核心利用率。在 109B 参数的多模态模型上，MSA 在 100 万上下文长度下将每 token 注意力计算量减少 28.4 倍，配合自研内核在 H800 上取得 14.2 倍预填充和 7.6 倍解码端到端加速。推理内核与生产级多模态模型均已开源。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-12 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.13392)