**Inferact 在 TPU v7 上跑出 Kimi K3 超级内核，解码速度超 700 tok/s 击败 GB200**

_Inferact's Kimi K3 Megakernel hits 700 tok/s on TPU, Beating GPU_

> Inferact 发布面向 TPU v7 的超级内核集合 inferact/tpu-megakernels。其 Kimi K3 实现结合推测解码达到超 700 tok/s，高于 GB200 的 452 tok/s；在 batch 1 至 8、不使用推测解码时，K3 与 Qwen 3.8 27B 的解码吞吐约为 GB200 基线的 1.4 至 2 倍（Qwen 在 4×TPU v7 上为 1515 tok/s，对比 4×GB200 的 695 tok/s）。团队表示，性能提升来自 TPU 每 TensorCore 64 MiB 的软件管理 VMEM、顺序编程模型以及跨层预取权重的显式异步流水线，使端到端速度更接近内存带宽理论上限。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-09-24 14:32（北京时间）
- **原文**：[打开原文](https://inferact.ai/blog/tpu-megakernels)