**Continuum Attention：通过连续记忆曲线优化 Transformer 注意力机制**

_Continuum Attention_

> 研究提出 Continuum Attention (CA)，将离散的键值查找替换为对连续分段线性记忆曲线的积分。该方法通过解析表达式计算精确归一化注意力，在保持标准 Transformer 解码器结构的同时，显著降低验证集负对数似然。实验表明，CA 在各项对比测试中均优于标准 Softmax 和 Focal Attention，展现出连续积分作为注意力机制替代方案的潜力。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-15 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.20586)