**单卡 Trainium2 高效部署 GLM-5.3-Flash：NKI 巨内核加速推理**

_Serving GLM-5.3-Flash on one Trainium2 box with NKI layer megakernels_

> Runanywhere 团队在单台 AWS Trainium2 实例上成功部署了 3200 亿参数的 GLM-5.3-Flash 模型。通过重写解码层并采用 NKI 巨内核技术，将解码延迟降低了 25%（从 32.2ms 降至 24.2ms）。在 SemiAnalysis 的 AgentX 基准测试中，该模型实现了每秒 357 万 token 的吞吐量，百万级上下文的首字延迟仅为 3 分钟，展现了在 AI 代理场景下的高效推理能力。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-11-05 05:52（北京时间）
- **原文**：[打开原文](https://runanywhere.ai/blog/glm-5-3-flash-trainium2-nki-megakernels)