**ALiBi位置编码的数值失效：注意力**

_When Attention Goes Blind: Numerical Failure in ALiBi Positional Encodings_

> 研究发现ALiBi位置编码存在一个被忽视的数值失效问题：线性偏置缩放会导致浮点精度下溢，使大量注意力权重归零，导致注意力头部分

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-08-05 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2608.03994)