**实时LLM推理在标准GPU上实现3k tokens/s每请求**

_Real-time LLM Inference on Standard GPUs (3k tokens/s per request)_

> Kog AI推出了Kog推理引擎（KIE）技术预览，展示了在标准数据中心GPU上实现极快的单请求解码速度。在8× AMD MI300X GPU上达到每请求3000个输出tokens/s，在8× NVIDIA H200上达到2100个tokens/s（FP16，无推测解码）。目前运行的是2B模型，未来将支持大型第三方MoE模型，并保持相似速度。文章强调了AI智能体（agents）对单请求解码速度的依赖，指出当前软件栈存在瓶颈，通过架构、运行时和底层GPU代码的协同设计可以突破性能上限。这对于提升智能体在序列化任务中的迭代效率至关重要，能显著改变产品体验和开发周期。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-05-29 01:03（北京时间）
- **原文**：[打开原文](https://blog.kog.ai/real-time-llm-inference-on-standard-gpus-3-000-tokens-s-per-request)