**RefCaptioner: 多参考图像引导的视频描述生成**

_RefCaptioner: Multi-Reference Image-Grounded Video Captioning_

> RefCaptioner 提出了一种新的视频描述任务，要求模型将视频中的局部视觉元素与多个参考图像进行明确关联。该框架通过混合数据监督微调（SFT）和层次化覆盖折扣式 GRPO 优化参考选择、短语级绑定及跨参考一致性，同时保持通用视频描述能力。研究构建了包含 20,000 段视频和 171,354 张参考图像的语料库，并推出 MRVBench 评估基准。实验表明，RefCaptioner 在开源模型中表现最优，且其生成的描述更受人工标注者青睐，能支持更忠实于原始内容的视频重建。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-07-31 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2607.28509)