**Show HN: 使用E8晶格进行LLM量化的GLQ**

_Show HN: Glq LLM quantization using E8 lattice_

> GLQ是一种用于大语言模型权重的后训练量化方法，它利用E8晶格码本将每组8个权重编码为16位索引，并通过随机哈达玛变换（RHT）解相关Hessian矩阵，使得在代理损失下欧几里得最近邻搜索接近最优。该方法支持2至8比特每权重（bpw）的量化，质量与QuIP\#相当且优于GPTQ，并提供融合CUDA内核直接对压缩索引进行矩阵乘法，无需物化权重矩阵，从而提升推理效率。项目提供了预量化模型、Docker镜像和自定义量化工具，便于在CUDA环境中部署和应用。

**来源信息**
- **来源**：Hacker News：AI 热帖
- **分类**：ai-models
- **发布时间**：2026-06-02 05:17（北京时间）
- **原文**：[打开原文](https://github.com/cnygaard/glq)