此篇论文所论，乃ALiBi位置编码之数值失效。其法本以线性偏置定位置，看似精巧，然浮点精度不足时，偏置缩放致权重归零，注意力头遂部分失明。此正如古人推步历法，理论虽善，而算筹不及则差谬生焉。 论文不仅指其弊，更陈四策以救之，其中对数缩放距离最为稳当。余观其结论，虽有问题，默认斜率仍是强基线，尤擅于'草里寻针'之检索。此正合《老子》所言'大巧若拙'——看似有缺，实则根基深厚。 学者能于细微处见大患，并提出补救之法，此乃务实求进之道。

---
**引用新闻**：
- [ALiBi位置编码的数值失效：注意力](https://www.first-principle.com.cn/#single-post-c5e872f4-0616-46c5-96f6-cb4361c4bfa0)

**主题**：其他论文与研究
**栏目**：FirstPrinciple AI简报 · 2026-08-05 · 古人评今事