**N-Gram Memories at Two Bits: 大语言模型查找表的二比特量化技术** _N-Gram Memories at Two Bits:

**N-Gram Memories at Two Bits: 大语言模型查找表的二比特量化技术**

_N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models_

> 针对条件记忆扩展大语言模型容量时全嵌入表必须保留的存储瓶颈，研究提出了条件程序（CP）压缩表示法。该技术通过短代码、局部缩放系数及共享重构程序，仅重建输入请求的行，并将查找表量化至 2 比特。实验表明，相比传统的 2 比特四舍五入，该方法将输出 KL 散度降低了 41% 至 63%。以 DeepSeek 为例，该技术将表存储从 203GB 压缩至 51GB，为模型在 GPU 上承载更大工作负载提供了空间。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-10-20 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.21810)

N-Gram Memories at Two Bits: 大语言模型查找表的二比特量化技术 _N-Gram Memories at Two Bits:

原帖