**Z-Reward：将推理内化为评分分布，超越标量奖励建模**

_Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions_

> 针对文本到图像的奖励建模中视觉偏好主观且呈分布特性，传统标量模型过度压缩不确定性与细粒度差异。Z-Reward提出教师-学生框架：教师为大型VLM，通过分组直接评分优化（GDSO）推断评分分布；学生则通过推理内化评分蒸馏（RISD）将推理条件分布迁移至紧凑VLM，无需推理链。教师27B准确率达89.6%，学生9B达88.6%，且可作为可微奖励信号，带来41.3%的人类偏好净提升。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-11 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.09076)