**Transformer深度解析：一个Token的生命历程**

_The Transformer: The Life of a Token_

> 本文深入探讨了现代稠密Transformer架构的内部运作机制，以Rnj 1.5模型为具体案例，详细解析了前向传播过程中的关键组件，包括YaRN位置编码、混合注意力、软上限、QK归一化、每token的浮点运算量（FLOPs）和集群大小配置等。文章分为七个部分，涵盖了从分词、嵌入层到注意力计算的完整流程，并强调了在单GPU上跟踪token流动的教学方法。Rnj 1.5是Rnj 1.0的长上下文版本，将上下文窗口从32k扩展到160k，并在128k上下文窗口的RULER测试中达到79%的准确率，同时提升了编码能力。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-05-27 01:30（北京时间）
- **原文**：[打开原文](https://www.aleksagordic.com/blog/transformer)