**条件无毛发定理：语言模型如何遗忘提示词**

_A Conditional No-Hair Theorem for Transformers: How Language Models Forget Their Prompt_

> 研究证实，自回归 Transformer 模型会随生成步数增加而遗忘提示词，其隐藏状态距离呈幂律衰减。训练后的模型遗忘较快，未训练模型遗忘较慢。该研究提出了“条件无毛发定理”，证明在特定条件下，提示词对后续生成的直接影响会随上下文增长而稀释，仅保留的提示词属性（如语言）需由生成文本本身承载。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-20 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.24133)