**InferSSD 实现消费级硬件运行 800B 参数大模型**

_Running 800B-parameter LLMs on consumer hardware with InferSSD_

> InferSSD 是一种开源推理运行时，通过将 MoE 模型的专家权重存储在 NVMe SSD 上，仅将当前推理所需的“工作集”加载至内存，从而突破了消费级硬件的显存限制。实测表明，在配备 32GB 显存的 RTX 5090 或 48GB 统一内存的 MacBook Pro 上，该框架能够流畅运行 DeepSeek-V4.1-Flash-1017（763B）和 Muse-Spark-Open（816B）等超大规模模型，显著提升了预填充与解码速度。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-11-13 01:43（北京时间）
- **原文**：[打开原文](https://wici.ai/article/running-800b-models-with-inferssd)