对比分布匹配（CDM）：提升离散扩散模型采样效率的新框架
原帖
**对比分布匹配：离散扩散中摊销序列蒙特卡洛的新方法**
_Contrastive Distribution Matching for Amortized Sequential Monte Carlo in Discrete Diffusion_
> 该论文提出了一种名为对比分布匹配（CDM）的新框架，旨在解决离散扩散模型在从奖励倾斜分布中采样时的效率瓶颈。传统扭曲序列蒙特卡洛（SMC）方法虽然精确，但在离散状态空间中估算最优扭曲函数需要昂贵的蒙特卡洛近似，导致推理成本高昂。CDM通过正负样本学习参数化扭曲函数，摊销了SMC推理的开销，并利用离散扩散模型的闭式前向核重构梯度估计器以提升训练效率。实验表明，CDM在多种应用（如有毒文本生成、DNA序列设计、蛋白质设计和扩散大语言模型对齐）中均优于现有基线，且评估学习到的扭曲函数仅增加不到5%的计算开销。
**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-28 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.23346)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
该论文提出对比分布匹配（CDM）框架，旨在解决离散扩散模型从奖励倾斜分布中采样的效率瓶颈。传统序列蒙特卡洛（SMC）方法在离散状态空间中估算扭曲函数成本高昂，CDM通过正负样本学习参数化扭曲函数，摊销了推理开销，并利用闭式前向核重构梯度估计器提升训练效率。
答案说明
对比分布匹配（CDM）通过学习参数化扭曲函数，将序列蒙特卡洛（SMC）推理的计算开销摊销到训练阶段，解决了离散扩散模型在特定分布采样中的效率问题，并在多个应用中表现优异。
这篇帖子回答的问题
- 对比分布匹配（CDM）如何解决离散扩散模型中的效率瓶颈？
- CDM方法在哪些应用领域进行了验证？
核心观点
- CDM通过正负样本学习参数化扭曲函数，将序列蒙特卡洛（SMC）的昂贵推理开销摊销到训练阶段。
- 据论文实验，在有毒文本生成、DNA序列设计、蛋白质设计和扩散大语言模型对齐等任务中，CDM均优于现有基线，且推理开销增加不到5%。
FAQ
- Q: CDM方法相比传统扭曲序列蒙特卡洛（SMC）方法的主要优势是什么？
- A: 主要优势在于将昂贵的蒙特卡洛近似推理开销摊销到训练阶段，从而显著降低推理成本。
关键实体
- 对比分布匹配（CDM）
- 序列蒙特卡洛（SMC）
- 离散扩散模型
- HuggingFace Daily Papers