**DAMI：双轴记忆初始化增强门控线性注意力长上下文检索**

_DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention_

> 针对门控线性注意力（Gated Linear Attention）中有限状态记忆限制长上下文检索的问题，研究提出了双轴记忆初始化（DAMI）方法。该方法通过联合配置门控参数与输入激活，在训练前预设几何时间尺度和输入敏感性剖面，无需增加可训练参数即可显著提升检索精度。实验表明，DAMI 在多种架构上将长上下文检索准确率提升了 5.29 至 16.71 个百分点，且不影响语言建模等通用任务性能。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-11-03 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.41994)