**解耦多模态视觉编码：联合训练专用视觉容量优于预训练编码器**

_Unbundling Multimodal Vision Encoding_

> 研究通过受控框架解构了多模态视觉编码的三个关键设计选择：视觉先验、专用视觉容量及融合位置。实验发现，视觉先验并非必要，从头联合训练的编码器性能与预训练编码器相当；而专用视觉容量至关重要，移除编码器会导致视觉理解能力下降。此外，将视觉模块置于骨干网络早期（融合内）而非预融合阶段，能在保持性能的同时降低首字延迟。结论支持采用与骨干网络联合训练的专用视觉容量，并将其尽早融入模型架构。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-11-13 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.17334)