奖励建模

无监督过程奖励模型（uPRM）：无需人工标注提升LLM推理能力

2026年5月22日HuggingFace Daily Papers发布的研究提出无监督过程奖励模型（uPRM）训练方法，通过基于大语言模型下一个词概率的评分函数批量评估推理轨迹，无需人工监督。据该论文，uPRM在识别首个错误步骤上比LLM-as-a-Judge准确率提升高达15%，在推理时扩展任务中性能接近有监督PRM并比多数投票基线提升6.9%，在强化学习中实现更稳健的策略优化。