**腾讯开源HiLS-Attention：数学优化稀疏注意力，实现512倍外推**

_在数学上把稀疏注意力做对！腾讯Hy开源HiLS-Attention: 计算更少效果更好, 外推512倍_

> 腾讯混元团队开源HiLS-Attention，提出一种全新的分块稀疏注意力范式。该方法通过数学上的严谨设计，解决了标准全注意力机制计算量随序列长度平方级增长的问题，实现了“计算更少、效果更好”，并支持高达512倍的上下文外推能力，有效应对长文本建模需求。

**来源信息**
- **来源**：机器之心：文章库（API）
- **分类**：ai-models
- **发布时间**：2026-07-20 10:59（北京时间）
- **原文**：[打开原文](https://www.jiqizhixin.com/articles/2026-07-20)