**CPU 内置于大模型:零梯度编译精确电路至预训练权重**

_A CPU Inside an LLM: Zero-Gradient Compilation of Exact Circuits into Pretrained Weights_

> 针对预训练语言模型在精确算术计算上的不可靠性,研究提出了一种无需梯度微调或外部工具即可将确定性电路直接编译至预训练权重的“零梯度”方法。该技术通过 Mellin-GLU 积分、Chebyshev 注意力机制及宽度扩展等分析机制,结合自动化编译器,实现了在保持自然语言能力的同时,将精确算术能力内化。实验表明,该方法在 IBM Granite 和 Alibaba Qwen 等模型上显著优于 LoRA,能以极低的显存开销实现高精度的算术计算与长上下文恢复。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:ai-models
- **发布时间**:2026-11-20 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2611.26450)