**ProRubric：通过协议级评分标准缓解基于评分标准的强化学习中的奖励黑客问题**

_Scoring Higher, Answering Worse: Mitigating Reward Hacking in Rubric-Based RL via Protocol-Level Rubrics_

> 针对基于评分标准的强化学习（Rubric-RL）中因加权求和聚合导致的“奖励黑客”现象（即模型得分高但实际回答质量差），本文提出ProRubric方法。该方法将评分标准分组为协议级维度，仅当组内所有标准均满足且未触发失败条款时才计分。实验表明，ProRubric在保持覆盖率的同时，将临床咨询场景下的适当性提升了10.8分，并在七个基准测试中取得最佳平均表现。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-14 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.38847)