**混合线性注意力模型中Full Attention层的「尖峰」现象首次揭示**

_少数Full Attention层如何重塑内部计算？混合线性注意力大模型中的「尖峰」与「平台」之谜首次揭开_

> 清华大学等机构研究者以Massive Activations为探针，首次系统揭示混合线性注意力大模型中少数Full Attention层的内部计算机制：在Full Attention层尚未开始计算时，其前一层的激活值已提前达到峰值，呈现出「尖峰」与「平台」交替的现象。

**来源信息**
- **来源**：机器之心：文章库（API）
- **分类**：论文
- **发布时间**：2026-09-01 11:20（北京时间）
- **原文**：[打开原文](https://www.jiqizhixin.com/articles/2026-09-01)