**FlashMorph2:一种高效策略的混合注意力模型层选择方法** _On-Policy Morphing into Hybrid Attention M
原帖
**FlashMorph2:一种高效策略的混合注意力模型层选择方法**
_On-Policy Morphing into Hybrid Attention Models_
> 针对现有混合注意力模型转换方法存在的离线策略不匹配问题,研究提出了 FlashMorph2。该方法采用在线策略,通过端到端评估离散混合架构并联合优化层选择分数与模型权重,有效解决了连续分支插值与离散计算的差异以及冻结权重无法适应后续恢复的缺陷。实验表明,FlashMorph2 在多个模型规模上显著优于现有方法,在保持高效(仅需数小时 GPU 时间)的同时大幅提升了模型在长上下文及召回密集型任务上的性能。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-11-20 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2611.24809)