**Pivot-SD:基于关键承诺的高效掩码扩散语言模型自蒸馏框架** _Pivot-SD: Efficient Self-Distillation for
原帖
**Pivot-SD:基于关键承诺的高效掩码扩散语言模型自蒸馏框架**
_Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models_
> 针对掩码扩散语言模型(dLMs)在去噪过程中信用分配难题,提出 Pivot-SD 离线自蒸馏框架。该方法利用信息增益指标识别对剩余掩码位置不确定性影响最大的“关键承诺”(Pivots),仅对这些高影响 token 进行监督训练(成功轨迹用交叉熵,失败轨迹用非似然训练)。实验表明,仅需 200 个问题和少量 rollout,Pivot-SD 即可在数学和代码基准上超越全序列 SFT 及同等预算的扩散 RL 基线。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-05 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.03665)