**Deep Fusion Memory：一种减少检索成本并融合至中间隐藏状态的大语言模型参数化记忆架构**

_Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models_

> 针对大语言模型外部知识获取难及现有参数化记忆构建成本高、融合浅层的问题，研究提出了 Deep Fusion Memory (DFM)。该架构通过因果记忆预测器从上下文生成记忆，并将记忆共享至块级（Chunk-Level）隐藏状态，实现了端到端训练且无需在线检索。相比现有方法，DFM 将检索查询和检索项数量分别降低了 32 倍和 2048 倍，在多项问答及领域适应任务中显著提升了模型性能。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-23 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.25100)