多模态融合

LoMo：局部模态替换方法提升视觉语言模型融合深度

2026年5月29日，HuggingFace Daily Papers收录的论文提出LoMo（局部模态替换）方法，旨在解决视觉语言模型（VLMs）的“载体敏感性”问题。该轻量级、架构无关的数据范式通过将文本片段动态转换为图像，创建多模态序列以增强跨模态表示不变性。在13个多模态基准测试中，该方法在特定基础模型上相比标准SFT取得了显著提升。