**PN-Mix：基于对数范数引导的混合精度 KV 缓存量化，实现长输出 LLM 高效推理**

_PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference_

> 针对长输出大语言模型在 KV 缓存内存与带宽上的瓶颈，PN-Mix 提出了一种新型混合精度量化方法。该方法通过分析 RoPE 通道对层面的查询 - 键对数范数乘积来识别关键通道对，并在预填充阶段确定精度分配后，在整个解码阶段复用该策略。实验表明，PN-Mix 在平均精度仅为 2.26 位时，其推理准确率优于使用 2.32 至 2.39 位精度的现有方法，且在低比特（低至 1.5 位）下表现出更优的鲁棒性。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-10-16 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.19605)