**重新思考扩散 Transformer 中的跨层信息路由**

_Rethinking Cross-Layer Information Routing in Diffusion Transformers_

> 本文系统分析了扩散 Transformer (DiT) 中的跨层信息流，发现传统残差连接存在前向幅度单调膨胀、反向梯度锐减和块级冗余三个问题。为此，作者提出了一种即插即用的残差替代方案——扩散自适应路由 (DAR)，它通过可学习、时间步自适应且非增量的方式来聚合子层输出历史。实验表明，在 ImageNet 256×256 上，DAR 将 SiT-XL/2 的 FID 分数提升了 2.11（从 9.67 降至 7.56），并以减少 8.75 倍训练迭代次数达到基线收敛质量。结合 REPA，DAR 在早期阶段实现了 2 倍训练加速，揭示了跨层信息路由作为一个独立于现有表征对齐目标的设计维度。该方法还可用于大规模文本生成图像模型的微调阶段，并在分布匹配蒸馏中保留高频细节。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-25 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.20708)