**HuggingFace 论文:基于表示空间 MMD 的扩散语言模型后训练方法** _Representation-Space MMD for Diffus
原帖
**HuggingFace 论文:基于表示空间 MMD 的扩散语言模型后训练方法**
_Representation-Space MMD for Diffusion Language Models_
> 该研究提出一种针对扩散语言模型(DLMs)的后训练方法,通过在冻结预训练模型的特征空间最小化生成与参考分布的最大均值差异(MMD)来优化模型。该方法利用策略梯度或潜变量直接微分计算损失,无需完整采样轨迹或辅助模型,显著提升了训练效率。实验表明,该方法在 OpenWebText 上降低了困惑度,在 GSM8K 上改善了精度与计算量的权衡,并在 16B 模型上通过增加解码并行度提升了数学与代码基准测试的表现。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-06 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.06648)