**CoWA：通过集体覆盖实现高效因果注意力**

_CoWindow Attention: Full Causal Coverage Is a Collective Property_

> HuggingFace 社区热门论文提出 CoWA 架构，将因果历史访问分布在多个 KV 头之间，无需学习路由器即可实现全因果覆盖。实验显示，CoWA 在保持与全注意力（FullAttn）相当的精度和长上下文检索能力的同时，显著降低了训练和推理延迟及内存占用，证明了全因果覆盖可以是头集合的集体属性。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-29 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.32704)