**当视觉为声音代言：揭示多模态大模型在音频理解上的‘聪明汉斯’效应**

_When Vision Speaks for Sound_

> 本文指出，当前视频处理的多模态大模型（MLLMs）在视频中的音频理解方面存在严重缺陷：它们往往依赖视觉线索来推测或虚构音频信息，而非真正理解音频流。这种现象在开源和谷歌、OpenAI等闭源模型中均存在，被作者称为“音频-视觉‘聪明汉斯’效应”。为系统研究此问题，作者提出了Thud干预探测框架，通过时间同步、声音存在和音视频一致性三种反事实音频编辑来诊断模型。此外，他们还提出了一种两阶段对齐方法，利用干预衍生的偏好对教导模型进行音频验证，并通过事件级通用视频偏好来防止模型过度特化。实验表明，该方法在三个干预维度上平均性能提升了28个百分点，同时略微提升了通用视频和音视频问答基准的性能。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-20 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.16403)