**重新思考LLM FP4预训练中的收缩偏差：几何根源、系统性影响及UFP4方案**

_Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe_

> FP4训练有望大幅降低LLM预训练的内存和计算成本，但当前硬件路径（如NVIDIA Blackwell/Rubin、AMD MI350系列）主要基于E2M1格式。本文揭示了该格式的根本缺陷——收缩偏差，即由不均匀表示区间导致的系统性负舍入误差。该偏差跨层累积并被随机哈达玛变换放大，导致训练不稳定。相比之下，均匀网格（E1M2/INT4）能避免此误差，更充分利用哈达玛变换提升量化质量。基于此，我们提出UFP4，一种均匀4位训练方案，在所有训练GEMM中应用RHT，仅对dY施加随机舍入。在1.5B稠密、7.9B MoE和124B MoE长期预训练中，UFP4的BF16相对损失劣化持续低于E2M1基线，并通过缩放定律和消融实验验证。结果表明未来加速器应将E1M2/INT4类均匀4位网格作为训练原生支持，与E2M1并行。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-19 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.20381)