**扩散语言模型去掩蔽策略研究:轨迹收缩与置信度结合实现最优效率** _What Makes a Good Unmasking Policy? A Contr
原帖
**扩散语言模型去掩蔽策略研究:轨迹收缩与置信度结合实现最优效率**
_What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models_
> 针对扩散语言模型并行生成效率低的问题,研究提出了一种基于轨迹收缩的去掩蔽策略。该策略通过结合置信度与隐藏状态,仅保留符合参考轨迹的承诺,有效平衡了速度与准确率。实验表明,在 LLaDA-8B-Instruct 模型上,该策略仅需约 10% 的函数评估次数减少即可抵消策略开销,显著提升了 GSM8K 等基准测试的吞吐量与准确率。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:ai-models
- **发布时间**:2026-10-23 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.31576)