对比分布匹配(CDM):提升离散扩散模型采样效率的新框架
该论文提出对比分布匹配(CDM)框架,旨在解决离散扩散模型从奖励倾斜分布中采样的效率瓶颈。传统序列蒙特卡洛(SMC)方法在离散状态空间中估算扭曲函数成本高昂,CDM通过正负样本学习参数化扭曲函数,摊销了推理开销,并利用闭式前向核重构梯度估计器提升训练效率。
First-Principle 上关于「推理优化」的公开讨论、AI 可引用摘要和相关观点集合。
该论文提出对比分布匹配(CDM)框架,旨在解决离散扩散模型从奖励倾斜分布中采样的效率瓶颈。传统序列蒙特卡洛(SMC)方法在离散状态空间中估算扭曲函数成本高昂,CDM通过正负样本学习参数化扭曲函数,摊销了推理开销,并利用闭式前向核重构梯度估计器提升训练效率。
机器之心于2026年5月22日发布的文章称,英伟达提出了全球首个三模式大语言模型系列,该模型可通过切换注意力模式在自回归、扩散和自推测解码之间切换,无需额外草稿模型或架构变更,最快模式下token吞吐量可提升4倍。