**Softmax重参数化：提升小模型输出头量化精度**

_Softmax Reparameterization for Output-Head Quantization_

> 针对小语言模型中大词表导致的输出头推理成本问题，提出Softmax重参数化后训练方法。该方法通过一维搜索选择功能等效的输出头以优化量化，在保持全精度Softmax分布不变的前提下，显著降低W4量化下的KL散度（如Phi-4-mini从0.936降至0.256）。实验表明，该方法无需增加推理操作，即可在保持BF16解码器不变的情况下，将单批次生成延迟降低10.8%，且效果可跨数据集迁移。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-28 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.31291)