**SWIM：通过视觉与语言对齐实现视频细粒度物体理解**

_See What I Mean: Aligning Vision and Language Representations for Video Fine-grained Object Understanding_

> 本文提出了SWIM（See What I Mean），一种新颖的训练策略，旨在通过纯文本提示实现细粒度物体理解，而无需显式视觉提示（如掩码或点）。该方法利用训练期间的掩码监督来引导跨模态注意力，使模型在推理时能自动关注用户指定的物体。研究通过分析多模态大语言模型（MLLMs）的预训练跨注意力发现，属性词在视觉模态中产生尖锐的局部激活，而物体名词则因语义参考偏差和分布式高层表示导致分散的激活模式。为解决这种不对齐问题，作者构建了NL-Refer数据集，其中每个物体掩码与精确的自然语言指代表达配对。SWIM从物体名词中提取多层跨注意力图，并与真实掩码保持空间一致性。实验表明，该方法在细粒度物体理解基准上显著提升了文本-视觉对齐，并超越了基于视觉提示的方法。代码和数据已开源。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-25 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.18018)