**Transformer 残差流推理几何特性研究** _The Geometry of Inference in Transformer Residual
原帖
**Transformer 残差流推理几何特性研究**
_The Geometry of Inference in Transformer Residual Streams_
> 该研究分析了 Transformer 模型在推理过程中残差表示如何变得特定于最终结果。通过对比中间状态与最终状态,发现随着深度增加,竞争端点集合缩小且方向对齐改善,但欧几里得距离变化不大。研究建立了高维模型以分离范数、对齐和端点几何的作用,并证明直线收敛不会引入新竞争者,揭示了残差几何与输出组织之间的内在联系。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-01 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.37824)