**按需精度：在小模型中于不确定解码步动态提升权重比特**

_Precision on Demand: Escalating Weight Bits at Uncertain Decoding Steps in a Small Local Model_

> 该研究提出了一种动态权重精度分配策略：在本地模型解码时默认使用 8 位权重，仅当低精度输出的分布不确定性（如熵值过高或前两名概率差过小）超过阈值时，才在特定步骤回退至 8 位全精度。实验基于 Qwen3-0.6B 模型在 GSM8K 基准上的表现，结果显示该策略能以 15% 的额外权重读取成本，捕捉到 78% 的精度翻转情况，显著优于随机门控策略，并在特定条件下实现了接近全精度模型的性能。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-12 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.14418)