**卡加多了吞吐为何没跟上？大模型推理等待新解法**

_卡加了，吞吐为何没跟上？大模型推理中的等待，有了新解法_

> 针对大模型部署中卡数增加但吞吐量增长缓慢的反直觉现象，文章分析了 MoE 模型在跨组通信时的同步等待瓶颈，并提出了新的解决方案以优化推理效率。

**来源信息**
- **来源**：机器之心：文章库（API）
- **分类**：ai-models
- **发布时间**：2026-10-16 11:43（北京时间）
- **原文**：[打开原文](https://www.jiqizhixin.com/articles/2026-10-16-6)