**扩散奖励模型：利用多模态结构优化LLM对齐**

_Diffusion Reward Models_

> HuggingFace社区热门论文提出扩散奖励模型（DRM），将奖励建模重构为条件密度估计，以解决传统点估计无法捕捉人类偏好多模态特性的问题。DRM基于冻结LLM编码器和轻量级扩散Transformer，无需参数化假设即可自然表示奖励分布的多模态结构。实验显示，DRM在五个基准测试中性能优于或持平基线，且能恢复传统方法丢失的多模态结构。下游RLHF实验证实，使用DRM作为训练奖励可提升策略性能，验证了扩散模型在对齐任务中的实用价值。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-29 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.33803)