**NeurIPS'26：注意力也能弃权！提升长上下文与低比特鲁棒性**

_NeurIPS&\#8217;26 | 注意力也能弃权！改善长上下文、低比特鲁棒性_

> 新研究提出 Attention Residuals（AttnResidual）机制，通过让注意力机制具备“弃权”能力，显著增强了 Transformer 模型在长上下文场景下的表现及低比特量化环境中的鲁棒性。

**来源信息**
- **来源**：新智元：资讯（API）
- **分类**：论文
- **发布时间**：2026-10-24 08:18（北京时间）
- **原文**：[打开原文](https://aiera.com.cn/asi-post.html?id=120322)