**多注意力头残差连接提升Transformer性能**

_Multi-Head Attention Residuals_

> HuggingFace最新论文提出Multi-Head Attention Residuals (MHAR)机制，通过为每个特征子空间引入独立的注意力头路由查询，解决了传统注意力残差中单一共享查询导致的特征冲突问题。实验表明，在100M至1B参数规模下，MHAR均优于标准Transformer及其他对比方法，且在H=8时达到最佳效果。该机制零参数量、低计算开销，并支持高效Triton内核实现，同时可通过delta注意力残差转换应用于大模型微调，在GSM8K和GPQA基准上分别获得+3.2和+3.1的提升。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-07-31 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2607.27230)