**多模态大模型检索头的跨模态通用性与优化潜力**

_A Broader Look into MLLM's Retrieval Heads_

> 研究揭示了多模态大模型（MLLM）中的检索头具备跨模态通用性：在新增音频 - 视觉模态后，这些稀疏的注意力头仍能有效定位证据且在不同模态间高度共享。通过消融实验发现，移除这些共享头会严重损害文档理解与空间感知能力。基于此，论文提出以排序目标优化检索头注意力，成功显著提升了 Qwen3-VL-8B 等模型的文档检索性能。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-30 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.32411)