**重新思考 LLM 服务:引入 System One 模型优化决策**

_Rethinking LLM Serving with System One Models_

> 文章提出在 LLM 服务栈中引入“System One”模型(如 Jev),以替代传统规则或高成本 LLM 进行快速决策。该模型具备低延迟(92ms 中位数)、无生成开销及输出概率分布等特点,适用于网关路由、缓存命中、集群扩缩容及引擎调度等场景,旨在以低成本提升服务效率与资源利用率。

**来源信息**
- **来源**:Hacker News:AI 热帖
- **分类**:ai-models
- **发布时间**:2026-10-03 02:02(北京时间)
- **原文**:[打开原文](https://supercomputing-system-ai-lab.github.io/blogs/rethinking-llm-serving-with-jev)