**FlashMemory-DeepSeek-V4:前瞻稀疏注意力将KV缓存压缩至13.5%,精度提升0.6%** _FlashMemory-DeepSeek
原帖
**FlashMemory-DeepSeek-V4:前瞻稀疏注意力将KV缓存压缩至13.5%,精度提升0.6%**
_FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention_
> 提出前瞻稀疏注意力(LSA)与神经记忆索引器,通过独立双编码器训练无需加载骨干模型,将物理KV缓存压缩至全量基线的13.5%,在LongBench-v2等长上下文评测中平均精度提升0.6%,极端500K上下文下KV开销减少90%以上,推理高效且稳定。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:ai-models
- **发布时间**:2026-06-09 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2606.09079)