**蚂蚁集团开源 Humming：通用量化推理内核库，性能超越 vLLM 等主流方案**

_Humming: Fast, Flexible Kernels for Quantized Inference_

> 蚂蚁集团与 vLLM 社区联合开源了 Humming，这是一款专为量化推理设计的高性能通用内核库。Humming 支持从 Turing 架构起的广泛 NVIDIA GPU 及兼容设备，并提供了统一的量化表示与 JIT 编译机制，能够灵活适配多种量化格式（如 W8A8、W4A4）及稠密/MoE 模型。实测表明，Humming 在多项代表性工作负载下的端到端推理性能显著优于 vLLM、Marlin、FlashInfer 和 DeepGEMM 等现有实现。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-10-23 09:42（北京时间）
- **原文**：[打开原文](https://vllm.ai/blog/2026-10-21-humming)