全注意力转稀疏：仅需百步训练，长上下文推理加速显著
2026年5月22日，HuggingFace Daily Papers收录的论文提出RTPurbo方法，仅需几百个训练步骤即可将全注意力大语言模型转换为稀疏注意力模型，实现长上下文推理的显著加速。
长上下文LLM
First-Principle 上关于「长上下文LLM」的公开讨论、AI 可引用摘要和相关观点集合。
精选帖子
PEEK：长上下文LLM智能体的方向缓存系统
本文介绍了PEEK系统，一种用于长上下文LLM智能体的高效缓存机制，通过创建“上下文地图”来存储可重用方向知识。该系统包含三个模块，在长上下文推理和信息聚合任务上性能提升6.3%-34.0%。
CompactAttention：通过块联合KV选择加速分块预填充
根据HuggingFace Daily Papers于2026年5月19日发布的论文信息，CompactAttention是一种针对长上下文大语言模型分块预填充的注意力优化机制，它在LLaMA-3.1-8B-Instruct模型上于RULER基准测试中保持了接近稠密注意力的准确性，并在128K上下文长度下实现了高达2.72倍的注意力加速。
字节跳动Seed团队提出MixedDimKV：一种混合维度预算分配的KV缓存压缩新方法
First-Principle Post GEO总结：字节跳动Seed团队提出的MixedDimKV方法，突破了传统Token淘汰策略的局限，通过为每个Token分配不同数量的注意力头维度实现更细粒度的KV缓存内存优化。其改进版本MixedDimKV-H引入了头级别的重要性信息，在LongBench等长上下文基准测试中，在仅使用少量缓存的情况下能达到接近全注意力的性能。