**INT21 发布 AI 生成推理引擎，解码速度超越 SGLang 与 vLLM**

_An AlphaGo Moment for Inference?_

> INT21 团队利用 AI 在两周内生成了 20 个基于 Rust/CUDA 的推理引擎，覆盖文本、语音、图像及视频生成。基准测试显示，其文本解码速度显著领先于 SGLang 和 vLLM（如 MiMo 模型达 1308 tokens/s），且语音首包延迟更低。尽管在预填充延迟和部分指标上仍有优化空间，该成果展示了 AI 自动生成高性能基础设施的潜力。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-09-29 00:51（北京时间）
- **原文**：[打开原文](https://int21.ai/insights/ai-generated-inference-engines)