**HuggingFace 论文：研究注意力机制中量化 Softmax 对 Transformer 预训练的影响**

_Pretraining Transformers with Quantized Softmax in Attention_

> 该论文探讨了在 Transformer 预训练过程中，使用 K 区间注意力（K-interval attention）近似 Softmax 函数对模型性能的影响。研究分析了网格校准、插值与硬舍入以及直通估计器位置等关键因素，推导了相应的反向传播规则。实验表明，在 124M 参数模型上，采用固定窗口校准和后归一化直通估计器，在 K=4 时验证损失差距仅为 +0.019 nats，而在 K=16 时前归一化方案差距可降至 +0.004 nats，为低精度 Transformer 训练提供了优化策略。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-30 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.33591)