**TPU与GPU集群集体通信深度解析**

_TPU and GPU Clusters: The Anatomy of Collective Communication_

> 本文深入剖析了Transformer训练与推理中依赖的核心集体通信原语（如All-Gather、Reduce-Scatter、All-Reduce和All-to-All），并结合TPU和GPU的物理拓扑结构，详细解释了环形与树形算法在大规模分布式系统中的实现原理及性能优化策略。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-07-15 01:08（北京时间）
- **原文**：[打开原文](https://www.aleksagordic.com/blog/collective-operations)