**BitDecoding-FP4:通过算法与系统协同设计实现原生 FP4 KV Cache 解码** _BitDecoding-FP4: Native FP
原帖
**BitDecoding-FP4:通过算法与系统协同设计实现原生 FP4 KV Cache 解码**
_BitDecoding-FP4: Native FP4 KV Cache Decoding via Algorithm-System Co-Design_
> 针对长上下文大模型服务中 KV Cache 的内存与带宽瓶颈,BitDecoding-FP4 提出了一种算法与系统协同设计的新方案,实现了准确且高效的原生 FP4 解码。该方案通过双残差查询量化、下溢感知概率缩放及离群值感知键量化等策略,将量化误差降至 1% 以内,并在 NVIDIA B300 上实现了比 BF16 高 2.4 至 3.0 倍的峰值服务吞吐量,同时保持了接近 BF16 的推理精度。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:ai-models
- **发布时间**:2026-11-17 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2611.09825)