**本地 AI：775 令牌/秒，DiffusionGemma (BF16) 在 Nvidia RTX 6000 Pro 上运行**

_Local AI: 775 tok/s, DiffusionGemma (BF16) on Nvidia RTX 6000 Pro_

> 有人成功在 Nvidia RTX 6000 Pro 上使用 vLLM (Red Hat 分支) 运行 Google 的新 DiffusionGemma 全 BF16 模型，实现每秒 775 个令牌的惊人速度。短上下文时极快，但上下文达到 10 万令牌时首次令牌延迟高达 22 秒。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-06-12 05:33（北京时间）
- **原文**：[打开原文](https://twitter.com/OrganicGPT/status/2064883777499795716)