**LoopVQ：实现小于 1-bit 的循环 Transformer KV 缓存量化**

_LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers_

> 针对循环 Transformer 架构中 KV 缓存随循环步数线性增长导致的内存瓶颈，研究提出了 LoopVQ 方法。该方法通过联合编码多个循环步的通道并微调码本，在 0.5 bits 下性能优于现有标准 LLM 量化技术，且在结合 TaSQ 后仅需 0.25 bits 即可保留大部分精度。实验表明，LoopVQ 在推理任务中显著提升了吞吐量，并在 SGLang 实现中将 32K 上下文下的解码延迟几乎减半。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-05 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.05304)