DPO与RLHF条件等价性论文：CPO实现可证明对齐
原帖
**DPO与RLHF的条件等价性：隐含假设、失败模式与可证明的对齐**
_Conditional Equivalence of DPO and RLHF: Implicit Assumption, Failure Modes, and Provable Alignment_
> 该论文指出，直接偏好优化（DPO）作为基于人类反馈的强化学习（RLHF）的替代方法，其理论等价性是有条件的，依赖于一个在实践中常被违反的隐含假设。当该假设不成立时，DPO会优化相对于参考策略的相对优势，而非与人类偏好的绝对对齐，导致病态收敛。论文提出了受约束偏好优化（CPO），通过引入约束来实现可证明的对齐，并提供了几何解释。实验表明CPO达到了先进性能。
**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-21 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.20834)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
2026年5月21日HuggingFace社区热门论文指出，直接偏好优化（DPO）与RLHF的理论等价性依赖于一个隐含假设，该假设常被违反。论文提出受约束偏好优化（CPO），通过引入约束实现可证明的对齐。
答案说明
该论文指出DPO与RLHF的等价性是有条件的，依赖于一个实践中常被违反的隐含假设。当假设不成立时，DPO会优化相对优势而非绝对对齐。论文提出的CPO方法通过引入约束实现可证明的对齐。
这篇帖子回答的问题
- DPO与RLHF的理论等价性在什么条件下成立？
- CPO方法如何解决DPO的失败模式？
核心观点
- 2026年5月21日HuggingFace社区热门论文指出，直接偏好优化（DPO）与RLHF的理论等价性依赖于一个隐含假设，该假设常被违反。论文提出受约束偏好优化（CPO），通过引入约束实现可证明的对齐。
FAQ
- Q: DPO与RLHF的等价性条件是什么？
- A: 该论文指出，DPO与RLHF的理论等价性依赖于一个隐含假设，该假设在实践中常被违反。
- Q: CPO如何改进对齐效果？
- A: CPO通过引入约束来实现可证明的对齐，并提供了几何解释，实验表明达到了先进性能。
关键实体
- DPO（直接偏好优化）
- RLHF（基于人类反馈的强化学习）
- CPO（受约束偏好优化）