**缺陷还是特性？权重漂移、激活稀疏性与尖峰现象**

_Bug or Feature^2: Weight Drift, Activation Sparsity, and Spikes_

> 该论文分析了标准损失函数与正向偏置激活函数交互作用下产生的负权重漂移现象。研究证明，在MSE或交叉熵损失下，正预激活的梯度期望为非负，导致训练初期下游权重趋向负值。这种漂移在多种架构（MLP、ResNet、ViT、GPT-nano、MP-SENe）和非对称激活函数（ReLU、GELU、SiLU）中普遍存在。结合ReLU时，权重漂移在GPT-nano中可导致高达90%的激活稀疏性。研究在79种配置中刻画了稀疏性与准确率的权衡关系，并发现当激活稀疏性超过约70%时会出现准确率悬崖。ReLU²在GPT-nano中具有良好的稀疏性-准确率比，但会病态地放大Transformer中间层中的激活尖峰。通过裁剪可解决此问题，且裁剪后的ReLU²优于未裁剪版本；GELU²在GPT-nano上实现了最低的验证损失。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-20 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.17659)