**复旦创智 OpenMOSS 团队：混合架构同时采用线性与滑窗注意力**

_混合架构用线性注意力还是滑窗注意力？复旦创智OpenMOSS团队：我全都要_

> 针对长上下文带来的架构挑战，复旦大学创智学院 OpenMOSS 团队提出了一种混合注意力机制，创新性地结合了线性注意力与滑窗注意力，旨在兼顾长文本处理效率与上下文理解精度。

**来源信息**
- **来源**：机器之心：文章库（API）
- **分类**：ai-models
- **发布时间**：2026-11-01 19:51（北京时间）
- **原文**：[打开原文](https://www.jiqizhixin.com/articles/2026-11-01-5)