**删除权重即可：Deletion Tuning 以 0.05% 参数调整实现 LLM 后训练全功能**

_The Surprising Effectiveness of Deleting Weights in LLM Post-Training_

> 研究提出 Deletion Tuning 方法，仅需将预训练大语言模型中少于 0.05% 的权重置零，即可在强化学习、监督微调及在线蒸馏三种后训练场景下，达到与全量微调（FFT）相当的效果。该方法通过学习 Transformer 门控投影的二进制掩码实现，其模型参数量仅为 FFT 的千分之一，且在持续学习中的遗忘问题显著优于 LoRA 和随机稀疏微调。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-11 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.10866)