**ZML发布LLMD:支持五大硬件平台的通用LLM推理服务器**

_ZML/LLMD alpha – cross platform LLM server_

> ZML推出LLMD Alpha版本,这是一款跨平台的大语言模型推理服务器,原生支持NVIDIA CUDA、AMD ROCm、Google TPU、Intel oneAPI及Apple Metal五大架构。该工具具备连续批处理、分页注意力、张量并行等现代服务特性,并内置DFlash推测解码算法以提升Gemna和Qwen系列模型的推理速度。此外,LLMD支持直接从HuggingFace、S3和GCS零拷贝加载模型,且每个平台的Docker镜像均经过优化,体积小巧且启动迅速。

**来源信息**
- **来源**:Hacker News:AI 热帖
- **分类**:ai-models
- **发布时间**:2026-07-08 16:58(北京时间)
- **原文**:[打开原文](https://zml.ai/posts/llmd)