**摩尔线程开源 Megatron-MUSA-Titan，聚焦万卡级集群的万亿参数 MoE 模型训练**

> 摩尔线程今日开源了基于其全功能 GPU 的大模型训练基础设施项目 Megatron-MUSA-Titan。该项目专为万卡级集群的万亿参数 MoE 模型训练设计，覆盖预训练与强化学习场景。通过引入 blockwise FP8 低精度计算、DeepEP 与 ACE 异步通信引擎，该项目实现了高算力利用率与长稳训练，并支持专家并行与计算重叠，显著提升了大规模模型的端到端训练效率。

**来源信息**
- **来源**：IT之家（RSS）
- **分类**：ai-models
- **发布时间**：2026-10-28 18:16（北京时间）
- **原文**：[打开原文](https://www.ithome.com/1/019/131.htm)