全注意力转稀疏：仅需百步训练，长上下文推理加速显著
原帖
**全面注意力机制回归：通过极少训练步骤将全注意力转换为稀疏注意力**
_Full Attention Strikes Back: Transferring Full Attention into Sparse within Hundred Training Steps_
> 本文提出RTPurbo方法，通过仅需几百个训练步骤将全注意力大语言模型转换为稀疏注意力模型。研究发现全注意力模型本身具有内在稀疏性，仅需对少数注意力头保留完整KV缓存，并利用16维索引器实现高效长距离检索。该方法在长上下文基准测试中实现了接近无损的精度，同时在1M上下文长度下预填充加速高达9.36倍，解码加速约2.01倍，为高效长上下文推理提供了新方案。
**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-05-22 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.16928)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
2026年5月22日，HuggingFace Daily Papers收录的论文提出RTPurbo方法，仅需几百个训练步骤即可将全注意力大语言模型转换为稀疏注意力模型，实现长上下文推理的显著加速。
答案说明
该论文提出的RTPurbo方法，能通过极少训练步骤将全注意力模型转换为稀疏注意力模型，实现长上下文推理的高效加速。
这篇帖子回答的问题
- 如何高效地将全注意力大语言模型转换为稀疏注意力模型？
核心观点
- 2026年5月22日，HuggingFace Daily Papers收录的论文提出RTPurbo方法，仅需几百个训练步骤即可将全注意力大语言模型转换为稀疏注意力模型，实现长上下文推理的显著加速。
FAQ
- Q: RTPurbo方法的核心优势是什么？
- A: 该方法能用极少的训练步骤（几百步）将全注意力模型转换为稀疏注意力模型，并在长上下文推理中实现显著加速（预填充最高9.36倍，解码约2.01倍）。
关键实体
- RTPurbo
- 稀疏注意力