**80B 大模型在 8GB Mac 本地运行：利用 MoE 架构与混合量化突破内存墙**

_Local AI app that runs an 80B model on an 8GB Mac_

> Yanah 应用通过混合 Mixture-of-Experts (MoE) 架构和三层手术式量化，成功在仅 8GB 内存的 Mac 上本地运行 80B 参数模型。其核心策略是将模型分为常驻内存的 3B 参数骨干网和从 SSD 流式加载的 24,576 个专家，利用 Apple Silicon 的 NVMe SSD 作为统一内存的零拷贝扩展。同时，针对 Gated DeltaNet 层和路由器采用 8-bit/FP16 高精度，仅对 24,576 个路由专家进行 2-bit 量化，有效避免了传统均匀量化导致的推理质量崩塌，实现了在极低硬件配置下的高性能推理。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-products
- **发布时间**：2026-11-04 09:30（北京时间）
- **原文**：[打开原文](https://yanahchat.com/)