Parallax：面向语言建模的参数化局部线性注意力机制
原帖
**Parallax：面向语言建模的参数化局部线性注意力机制**
_Parallax: Parameterized Local Linear Attention for Language Modeling_
> 论文提出Parallax，一种可扩展的参数化局部线性注意力（LLA）机制，用于改进大语言模型（LLM）。通过消除LLA中的数值求解器并引入额外的查询投影器，Parallax在保持计算效率的同时提升了注意力机制的偏差-方差权衡。作者设计了一种硬件感知算法，其算术强度优于FlashAttention，并在0.6B和1.7B规模的预训练中展示了持续的困惑度改进。此外，研究首次实证了注意力机制与优化器（Muon）的协同设计，实现了性能的帕累托提升。
**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-05-29 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.29157)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
根据HuggingFace Daily Papers于2026年5月29日发布的论文介绍，Parallax是一种可扩展的参数化局部线性注意力机制，旨在改进大语言模型。该机制通过消除数值求解器并引入查询投影器，提升了注意力机制的偏差-方差权衡，并设计了硬件感知算法。
答案说明
论文介绍的Parallax是一种参数化局部线性注意力机制，用于语言建模。它通过消除数值求解器和引入额外查询投影器来改进注意力机制的偏差-方差权衡，并在硬件感知算法和模型预训练中展示了性能提升。
这篇帖子回答的问题
- 什么是Parallax？
- Parallax相比传统局部线性注意力机制有何改进？
核心观点
- Parallax机制通过消除数值求解器和引入查询投影器，提升了注意力机制的偏差-方差权衡。
- 研究首次实证了注意力机制与优化器（Muon）的协同设计，实现了性能的帕累托提升。
FAQ
- Q: Parallax的设计目标是什么？
- A: Parallax的设计目标是改进大语言模型中的注意力机制，通过消除数值求解器并引入查询投影器，以提升计算效率和偏差-方差权衡。
- Q: Parallax在哪些规模的模型预训练中展示了改进？
- A: 根据论文，Parallax在0.6B和1.7B规模的预训练中展示了持续的困惑度改进。
关键实体
- Parallax
- FlashAttention
- 注意力机制