**Inferssd：通过流式传输 SSD 运行超出显存的大型 MoE 模型**

_Inferssd – Run models larger than RAM or VRAM by streaming MoE experts from SSD_

> Inferssd 基于 llama.cpp 构建，支持从 SSD 流式传输混合专家（MoE）模型的专家层，从而运行参数规模远超系统内存或显存的大型模型（如 DeepSeek-V4.1-Flash-1017）。相比 llama.cpp，该工具在多种硬件（包括 Apple Silicon 和 NVIDIA 显卡）上显著提升了推理速度，并提供了浏览器聊天界面及 OpenAI 兼容 API。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-10-31 02:43（北京时间）
- **原文**：[打开原文](https://github.com/wici-ai/inferssd)