**HLA:基于分块动态混合的混合线性注意力机制** _HLA: Expressive Hybrid Linear Attention via Chunk-W
原帖
**HLA:基于分块动态混合的混合线性注意力机制**
_HLA: Expressive Hybrid Linear Attention via Chunk-Wise Dynamic Mixing_
> 针对线性注意力在长上下文稀疏信息检索上的局限,提出HLA机制。该机制通过查询依赖的分块级路由门控,动态调节历史状态转换,显著提升了长文本建模能力。在Qwen3.5系列模型上,HLA在LongBench-V2和RULER基准上分别取得最高5.57和3.97个百分点的提升,且有效支持超出训练长度的上下文推理。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-07 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.05842)