**多模态预训练的物理机制：知识流动、模态协同与早期统一**

_Towards Physics of Multimodal Pretraining: Knowledge Flow, Modality Synergy, Early Unification, and Recipes_

> 该研究系统探索多模态预训练的底层机制，揭示四大关键发现：知识在语言与视觉模态间存在不对称流动；数据复杂度决定模态协同或竞争关系；从训练初期统一多模态比后期对齐更有效，可避免视觉惰性现象；并推导出仅需5%计算资源的预训练配方。研究在13.5B MoE模型上完成大规模验证。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-08-06 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2608.05000)