**PISA：实现 O(N log N) 复杂度的块稀疏注意力机制**

_Block Sparse Attention with Log-Linear Complexity_

> 针对长上下文处理中自注意力机制的二次方计算瓶颈，HuggingFace 社区热门论文提出 PISA 机制。该机制采用金字塔 Top-K 选择策略，通过构建从粗到细的键层级结构，利用 LogSumExp 评分逐步筛选候选项，将整体复杂度降低至 O(N log N)。研究团队开发了硬件感知的 Triton 内核以优化训练与推理效率，实验表明 PISA 在常识推理等基准测试中性能与基线相当，且在检索任务上表现更优。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-28 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.31093)