**大规模预训练参数化长时记忆模块提升语言模型效率**

_Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory_

> 研究提出 Memory Decoder at Scale，将参数化长时记忆模块扩展至69亿参数并在3000亿token上预训练。实验显示，独立扩展内存比单纯扩大基础模型更高效：6.9B通用内存搭配410M主模型可超越12B基座模型性能，且Qwen系列模型加入1.7B领域记忆后各任务平均得分提升超9分，验证了参数化长时记忆在提升语言模型表现上的高效性。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-07-31 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2607.27919)