**RewardVerse：用评分量表引导策略优化，稳定视频奖励模型**

_RewardVerse: Rubric-Guided Policy Optimization for Video Reward Modeling_

> 针对现有视频奖励模型直接把复杂主观的视频质量映射为单一分数、导致标量漂移（评分尺度在不同提示间崩塌或偏移）的问题，论文提出 RewardVerse：在评估查询与打分器之间引入动态评分量表（rubric）作为中间表示，先生成明确的评价标准再进行量表引导打分，提供稳定的语义锚点。配套的 Rubric-Guided Policy Optimization（RGPO）采用两阶段训练：先用自演化种子量表预热打分器，再联合优化量表生成器以产出查询自适应标准，同时持续让打分器对齐人工评分。在 16 维 EvalVerse 基准及外部数据集上，该方法缓解了标量漂移，在逐点与成对评估上均达到最优，并为视频生成强化学习提供稳健、可解释的奖励信号。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-24 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.22947)