**小模型推理优化：6 位量化与选项顺序平均的性价比权衡**

_Bits or permutations? Spending a fixed inference budget on weight precision or on option-order averaging in small local language models_

> 研究对比了在固定推理预算下，对本地语言模型进行权重量化（降低比特数）与对答案选项顺序进行平均（增加采样次数）的效益。实验发现，6 位量化在保持精度的同时成本最低；当权重精度降至 4 位时，选项顺序平均能显著恢复性能。结论建议：优先使用 6 位权重，并将剩余预算用于执行 4 次不同的选项顺序采样。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-12 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.14413)