**SCALE:通过熵引导控制SFT特征抑制、反转与外推**

_Rethinking Token Reweighting for SFT: Suppress, Reverse, and Extrapolate Learned Features_

> 针对监督微调(SFT)中现有Token重加权方法无法反转有害特征或实现特征外推的局限,论文提出SCALE方法。该方法通过最小化预测熵学习有界的Token及模块特定门控,在冻结预训练模型和SFT增量的前提下,根据熵减对齐情况对已学习特征进行抑制、反转或外推。在Qwen2.5-Math及Qwen3-4B-Base等模型上,SCALE在数学推理和代码生成任务中均超越最强基线,同时保持通用能力竞争力。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-05 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.33463)