**三元线性注意力:利用三维递归状态提升长上下文建模**

_Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling_

> HuggingFace 社区热门论文提出“三元线性注意力”机制,将线性注意力的矩阵隐藏状态扩展为三维张量状态。该方法通过键、第二键和值的三元外积写入状态,在仅增加两个投影层的情况下实现状态大小的指数级增长。该架构兼容数据依赖遗忘和分块并行训练,在长上下文语言建模和召回任务中显著优于其他状态扩展方案。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-05 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.36529)