**指数衰减记忆增强注意力，提升查询感知KV缓存稀疏性**

_Augmenting Attention with Exponentially Decaying Memory Improves Query-Aware KV Sparsity_

> 针对长上下文语言模型的高效推理，近期RAT+工作引入递归增强注意力骨架。本文探究其指数衰减记忆模块对现有查询感知稀疏推理方法（如Quest、MoBA、SnapKV）的增益。在8项针落草垛任务上，RAT+在不同稀疏预算下均一致提升标准注意力准确率，并在RAT+发布检查点与经10B token延续预训练的OLMo2-7B模型上验证。作者进一步提出两种假设解释记忆模块为何有助于查询感知稀疏推理，并设计实验支撑。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-08 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.28640)