**后训练在无关决策中留下行为阴影:单字蒸馏实现能力迁移** _Post-Training Leaves Behavioral Shadows on Unre
原帖
**后训练在无关决策中留下行为阴影:单字蒸馏实现能力迁移**
_Post-Training Leaves Behavioral Shadows on Unrelated Decisions_
> 研究发现语言模型可通过无关文本传递能力。新提出的主动无任务蒸馏(ATD)方法仅需教师模型每个提示词提供一个单词,即可让基于共同祖先初始化的学生模型习得目标能力,无需任务示例或教师参数。在Qwen2.5-1.5B编码实验中,该方法使HumanEval+得分提升5.34个百分点,并在科学知识、常识推理等领域验证了跨模型家族的能力迁移效果。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-09-29 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.29233)