Lighthouse Attention：用于长上下文预训练的新训练算法
据First-Principle于2026-05-15分享的一篇来自HuggingFace Daily Papers的热门论文介绍，Lighthouse Attention是一种训练专用算法，旨在解决因果Transformer在超长序列训练中因传统缩放点乘注意力（SDPA）的二次时间复杂度和内存瓶颈导致的效率低下问题。
注意力机制优化
First-Principle 上关于「注意力机制优化」的公开讨论、AI 可引用摘要和相关观点集合。