**你的 Transformer 能同时思考两件事：LLM 中的线性叠加证据**

_Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs_

> 该研究提出“叠加线性假设”：当来自不同文本流的输入被线性组合时，大模型的输出是各自下一个 token 分布的叠加。证据表明这种叠加是 Transformer 架构的固有属性，而非训练带来的涌现能力，且随预训练推进会逐渐减弱；通过轻量微调可显著恢复线性，缩小预测分布与各单独分布均值之间的差距。作者还提出一种引导解码方法，可解开叠加输出，在单次前向传播中同时生成两条连贯的续写。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-25 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.29845)