**斯坦福提出 NCM 模型:抛弃逐词生成,让大模型运行快 30 倍且摆脱内存瓶颈**

_Show HN: New Model- NCM Model – Are Memory Hungry LLMs Dead_

> 斯坦福大学团队提出了一种名为 NCM(Next Concept Modeling)的新架构,旨在解决当前大语言模型(LLM)因逐词生成导致的内存带宽瓶颈和延迟问题。与传统模型每次只生成一个 token 不同,NCM 借鉴了图像扩散模型的分层生成机制,能够一次性并行生成完整回复的骨架,再由后续层逐层细化。这种方法将推理步骤从传统的 1000 次减少至 32 次,实现了约 30 倍的运行速度提升,有望大幅降低本地运行大模型的硬件成本。

**来源信息**
- **来源**:Hacker News:AI 热帖
- **分类**:ai-models
- **发布时间**:2026-11-16 00:28(北京时间)
- **原文**:[打开原文](https://codedynasty.dev/posts/ncm_model-are_memory-hungry_LLMs_dead)