**语言模型需要睡眠**

_Language Models Need Sleep_

> 本文提出一种类似睡眠的机制来解决Transformer大语言模型在长上下文任务中注意力机制计算开销大的问题。该方法让模型周期性地将近期上下文转化为持久的快速权重，然后清除键值缓存。在睡眠期间，模型通过N次离线循环遍历积累的上下文，并利用学习到的局部规则更新其状态空间模型块中的快速权重。在推理阶段，这将额外计算转移到睡眠期，同时保持清醒时预测的延迟。该方法在合成任务（如细胞自动机、多跳图检索）和数学推理任务上进行了测试，实验表明增加睡眠持续时间N可以提升性能，尤其是在需要更深层次推理的示例中增益最大。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-26 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.26099)