**KVarN: 方差归一化 KV 缓存量化缓解推理任务中的误差累积**

_KVarN: Variance-Normalized KV-Cache Quantization Mitigates Error Accumulation in Reasoning Tasks_

> 针对大语言模型在长上下文推理时 KV 缓存导致的内存瓶颈，现有量化方法在自回归解码下存在误差累积问题。本文提出 KVarN，一种无需校准的 KV 缓存量化器，通过 Hadamard 旋转和双缩放方差归一化固定异常 token 尺度错误，显著减少误差累积。在 MATH500、AIME24 和 HumanEval 等生成式基准上以 2 比特精度达到最新水平，并已在 vLLM 中开源实现。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-03 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.03458)