**牛津、英伟达等提出记忆压缩新范式：训练时让模型学会断舍离**

> 针对当前大型语言模型在处理超长上下文（如百万级token）时面临的内存与计算效率瓶颈，牛津大学、英伟达等机构的研究团队提出了一种名为“记忆压缩”的新训练范式。该范式的核心思想是在模型训练阶段就使其学会对上下文信息进行选择性记忆和压缩，舍弃冗余或低价值的信息，只保留对生成任务最关键的内容。这类似于教模型在阅读长文本时主动“断舍离”，而非被动地记忆所有细节。文章指出，这种方法旨在从根本上优化模型的长上下文处理能力，在保持甚至提升性能的同时，显著降低推理时的资源消耗，以应对AI厂商在长上下文能力上的激烈竞争。

**来源信息**
- **来源**：机器之心：文章库（API）
- **分类**：论文
- **发布时间**：2026-06-02 10:33（北京时间）
- **原文**：[打开原文](https://www.jiqizhixin.com/articles/2026-06-02)