**无视觉编码器多模态预训练的扩展定律研究**

_How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining_

> 该论文系统对比了无视觉编码器与基于编码器的多模态大模型（MLLM）的扩展定律。研究发现，移除视觉编码器虽在小规模下性能稍逊，但预计将在约 10^22 FLOPs 的计算量下追平基于编码器的模型。此外，无编码器架构促使语言模型通过视觉特定适应机制（如双向交互和早期层处理）接管视觉任务，表明预训练视觉先验的优势随规模扩大而减弱，无编码器架构成为多模态预训练的有力方向。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-29 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.35457)