**下一代语言模型架构走向何方？KAUST、港大、华为等发布全面综述**

_下一代语言模型架构走向何方？LSTM之父领衔，KAUST、港大、华为等共同发布领域全面综述_

> 针对大语言模型架构的持续发展，KAUST、港大及华为等机构联合发布领域综述。文章指出，在模型规模扩大的同时，架构也在演进，涵盖了 GQA、MLA、稀疏注意力、线性注意力网络（如 Mamba）及细粒度 MoE 等关键技术。

**来源信息**
- **来源**：机器之心：文章库（API）
- **分类**：论文
- **发布时间**：2026-11-12 10:43（北京时间）
- **原文**：[打开原文](https://www.jiqizhixin.com/articles/2026-11-12)