**Marin 535B-A23B 架构决策：从模型规模到混合专家系统的稳定训练**

_Architecture Decisions for Marin 535B-A23B_

> 该文章详细剖析了 Marin 535B-A23B 模型的架构设计决策，该模型于 2026 年 11 月完成 18T 标记量的预训练。设计核心围绕三个目标：最大化硬件利用率（MFU）、验证混合专家（MoE）模型的可预测扩展性，以及为未来的监督微调（SFT）和强化学习（RL）提供基础。架构采用了包含 8 个 Latent MoE 和 SwiGLU 激活的混合结构，并引入了可学习 RMSNorm、门控归一化（Gated Norm）、专属自注意力（XSA）及短卷积（SConv）等创新组件。此外，团队采用了 Hyperball 优化器组合（MuonH/AdamH/Adam）并进行了精细的学习率拟合，以在有限时间内实现最佳模型效果。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-11-11 01:57（北京时间）
- **原文**：[打开原文](https://openathena.ai/blog/marin-535b-architecture)