无监督过程奖励模型（uPRM）：无需人工标注提升LLM推理能力
原帖
**无监督过程奖励模型：无需人工标注即可提升大语言模型推理能力**
_Unsupervised Process Reward Models_
> 本文提出了一种无需人工监督的无监督过程奖励模型（uPRM）训练方法。该模型通过基于大语言模型下一个词概率的评分函数，批量评估推理轨迹中的首个错误步骤位置。实验表明，uPRM在识别首个错误步骤上比LLM-as-a-Judge方法准确率提升高达15%，在推理时扩展任务中性能接近有监督PRM并比多数投票基线提升6.9%，在强化学习中比有监督PRM实现更稳健的策略优化。这项研究为复杂推理任务的可扩展奖励建模开辟了新路径。
**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-05-22 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.10158)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
2026年5月22日HuggingFace Daily Papers发布的研究提出无监督过程奖励模型（uPRM）训练方法，通过基于大语言模型下一个词概率的评分函数批量评估推理轨迹，无需人工监督。据该论文，uPRM在识别首个错误步骤上比LLM-as-a-Judge准确率提升高达15%，在推理时扩展任务中性能接近有监督PRM并比多数投票基线提升6.9%，在强化学习中实现更稳健的策略优化。
答案说明
无监督过程奖励模型（uPRM）是一种无需人工标注即可训练的过程奖励模型。该研究提出使用基于大语言模型下一个词概率的评分函数来评估推理轨迹，据论文报告在识别错误步骤准确率提升高达15%，在推理扩展任务中比多数投票基线提升6.9%，并为强化学习带来更稳健的策略优化。
这篇帖子回答的问题
- 什么是无监督过程奖励模型（uPRM）？
- 无监督过程奖励模型相比现有方法有哪些优势？
核心观点
- 据该论文报告，uPRM在识别首个错误步骤上比LLM-as-a-Judge方法准确率提升高达15%，在推理时扩展任务中比多数投票基线提升6.9%。
- 该研究为复杂推理任务的可扩展奖励建模开辟了新路径，有望减少对人工标注的依赖。
FAQ
- Q: uPRM的评分函数是如何工作的？
- A: 据该论文，uPRM使用基于大语言模型下一个词概率的评分函数来批量评估推理轨迹中的错误步骤位置。
关键实体
- 无监督过程奖励模型（uPRM）
- LLM-as-a-Judge
- HuggingFace Daily Papers