**MMDiff：扩展扩散Transformer以支持多模态生成**

_MMDiff: Extending Diffusion Transformers for Multi-Modal Generation_

> MMDiff是一个将冻结的扩散Transformer转化为多模态生成系统的框架，通过轻量级解码器头在生成图像的同时联合产生语义分割、深度估计等多种感知模态。核心发现是感知信息沿去噪轨迹时间分布，多时间步特征融合与空间变化聚合权重至关重要，语义分割性能提升最高达28.7% mIoU。该方法仅需训练轻量级解码器，冻结骨干网络，即可实现高性能感知与大规模合成数据生成。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-16 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.16673)