**LongAttnComp：面向长上下文推理的跨家族上下文压缩技术**

_LongAttnComp: Cross-Family Context Compression for Long-Context Reasoning_

> 该研究针对处理超长文本（如10万+token）时的效率瓶颈，提出了LongAttnComp方法。它通过微调轻量级跨注意力评分层，并结合token级分块、token预算top-p算法、位置重排序等技术，实现无需训练的上下文压缩。研究采用两阶段微调：第一阶段基于NIAH类数据建立通用检索基础，第二阶段扩展至多跳推理数据。实验表明，该方法在InfiniteBench代码调试任务上能匹配甚至超越全上下文精度，显著优于无需训练的基线，并在不同家族的模型间有效迁移。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.01336)