**辅助奖励驱动小模型自进化：从验证轨迹中挖掘隐藏价值**

_Self-Improvement with Auxiliary Rewards: Learning from Verified Traces and Evaluating Transfer_

> 针对答案级奖励无法区分同等正确但推理过程不同的轨迹这一局限，研究提出利用辅助轨迹偏好（如基于不确定性的组合指标 UID-Conj.）来提升小语言模型的自改进与迁移能力。实验表明，相较于置信度指标，该组合指标在无需参考答案的在线适应及离线训练场景中均能显著提升模型表现，特别是在离线加权监督微调中效果更为突出，证明了辅助偏好能挖掘推理过程中被忽略的学习价值。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-11-03 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.41296)