**混合大模型注意力失忆症：思维链微调损害长程召回，QK-Restore无训练修复**

_Attention Amnesia in Hybrid LLMs: When CoT Fine-Tuning Breaks Long-Range Recall, and How to Fix It_

> 研究发现思维链监督微调会系统性损害混合线性注意力模型的长上下文检索能力，如HypeNet-9B在256K上下文下性能从67.2%骤降至9.4%。根本原因是微调使注意力梯度偏向短程模式，干扰长程路由的关键投影矩阵W\_Q和W\_K。为此提出QK-Restore，仅恢复微调前的W\_Q和W\_K，无需额外训练即可恢复长上下文能力并保持推理性能；其Procrustes变体可进一步平衡路由保留与推理适应。在HypeNet-5B上，S3@256K从65.4%提升至76.4%。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-10 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.11052)