**Bellman 策略优化：免 Critic 的大模型推理强化学习新方法**

_Bellman Policy Optimization_

> 论文提出 Bellman 策略优化（BPO），一种从策略镜像下降（PMD）推导出的免 Critic 方法。针对带终端奖励的自回归生成，BPO 用贝尔曼方程将 PMD 重构为轨迹级目标，无需估计中间状态的价值，并被证明与原 PMD 目标具有相同的唯一最优解。其实用损失通过近似该目标得到，失配修正权重为互补 token 概率的平滑比值。数学推理基准实验验证了其有效性。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-23 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.15987)