**单卡H200预训练Mini Kimi K3:50亿token仅花费252美元** _Pretraining a Mini Kimi K3_ > 本文记录
原帖
**单卡H200预训练Mini Kimi K3:50亿token仅花费252美元**
_Pretraining a Mini Kimi K3_
> 本文记录了使用单个H200 GPU预训练10.2亿参数Kimi K3模型的完整过程,共消耗50亿去污染token,总成本仅252.35美元。内容涵盖模型架构缩放、数据组装与去污染、训练代码的四个隐藏bug、专家路由崩溃问题、MFU优化尝试以及分布式训练中的三个静默bug,并提供了24项基准测试结果。
**来源信息**
- **来源**:Hacker News:AI 热帖
- **分类**:ai-models
- **发布时间**:2026-08-21 14:44(北京时间)
- **原文**:[打开原文](https://books.vizuara.ai/book/pretraining-a-mini-k3)