**Strata 引擎开源:12GB 显存显卡实现 125B Qwen3.8 模型 94 词元/秒推理**

_12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒_

> 开发者 Niko1221 开源 Strata 引擎,利用 MoE 模型 RAM 卸载与投机解码技术,使 12GB 显存的消费级显卡(如 RTX 5070)能运行 125B 参数的 Qwen3.8-Flash-Next 模型。在 2 比特量化下,RTX 5070 推理速度达 94 词元/秒,AMD RX 9070 XT 达 60 词元/秒,大幅降低了大模型本地部署门槛。

**来源信息**
- **来源**:IT之家(RSS)
- **分类**:ai-products
- **发布时间**:2026-10-06 15:45(北京时间)
- **原文**:[打开原文](https://www.ithome.com/1/010/006.htm)