**现成大语言模型作为过程评分器：无需训练即可替代PRM用于数学推理**

_Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning_

> 本文提出了一种名为'Chunk-Level Guided Generation'的无需训练方法，利用现成的大语言模型作为过程评分器来指导小模型的数学推理过程。该方法在每个步骤中，让小模型生成多个固定长度的候选片段，然后由大模型基于概率对这些片段进行评分（不生成文本），从而选择最佳片段继续推理，避免错误传播。研究提出了两种选择规则：Likelihood-Guided Selection (LGS) 和 Contrastive-Guided Selection (CGS)。实验表明，在多个数学推理基准测试中（如GSM8K、MATH等），CGS方法相比多数投票法有显著提升（最高达28个百分点），并且在相同指导预算下，其性能匹配或超越了需要奖励模型训练的PRM引导搜索方法，同时生成的推理轨迹更短。例如，使用Qwen2.5-7B（由Qwen2.5-72B指导）在MATH基准上达到81.8%的准确率。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.01682)