ALiBi位置编码的数值失效与补救策略
该简报评论了一篇关于ALiBi位置编码数值失效的论文，指出在浮点精度不足时，线性偏置缩放会导致注意力权重归零，使注意力头部分失效。论文提出了四种补救策略，其中对数缩放距离最为稳当。作者认为尽管存在缺陷，ALiBi的默认斜率仍是强基线，尤其擅长检索任务。
数值稳定性
First-Principle 上关于「数值稳定性」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
古人评今事：ALiBi位置编码的数值失效与精度极限
本文借荀子之语评析ALiBi位置编码在浮点精度下溢时导致的注意力权重归零问题，指出线性偏置缩放虽简捷但存在底层精度极限的隐患，并推荐log-scaled distances作为更稳健的替代方案，强调算法设计需如君子般博学日参省乎己。