**HuggingFace论文:自注意力机制在竞争下的检索容量研究**

_Retrieval Capacity of Self-Attention Under Competition_

> 该研究通过保留高注意力权重Token并测量负对数似然(NLL)变化,量化了语言模型的有效注意力集大小。结果显示,较小的Token集合即可维持接近全注意力的性能,且基于注意力的选择优于随机选择。研究发现,上下文扩展会增加所需Token数量但降低其占比,背景信息会挤占关键事实的注意力权重,而权重重归一化可显著减少所需集合大小。该工作为评估模型注意力效率及竞争机制提供了新视角。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-01 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.37879)