**HuggingFace 论文:通过蒸馏优化文本嵌入以提升扩散模型生成性能** _Scaling and Distilling Text Embedding
原帖
**HuggingFace 论文:通过蒸馏优化文本嵌入以提升扩散模型生成性能**
_Scaling and Distilling Text Embeddings for Better Diffusibility_
> 该研究针对连续扩散语言模型(DLM)中嵌入空间“可扩散性”不足的问题,发现直接缩放嵌入模型(如 T5Gemma-2)虽能提升性能,但过强的判别性导致生成易陷入无效嵌入。通过蒸馏技术,利用教师模型的解码概率作为软标签训练学生编码器,使替代词嵌入更紧密,构建了更连通、更易扩散的潜在空间。实验显示,该方法使中等规模 DLM 在 OpenWebText 上的生成困惑度优于 GPT-2-M。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-02 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.01016)