**Reflex：面向冷启动延迟的 GGUF/CUDA 推理引擎**

_Show HN: Reflex – a GGUF/CUDA inference engine tuned for cold-start latency_

> Reflex 是一个 GGUF 原生的 Rust/CUDA 推理引擎，通过构建时 AOT 编译全部 CUDA 内核，避免运行时 JIT 导致的多秒首次调用开销，专注从进程启动到首个 token 的冷启动延迟，而非服务端稳态吞吐。它提供 generate、system1（单次非自回归候选评分）等子命令，适合 serverless、CLI、批处理和边缘设备等按需唤醒场景；system1 目前仅支持 dense/MoE Qwen3。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-09-24 01:51（北京时间）
- **原文**：[打开原文](https://github.com/lateos-ai/reflex)