**DAGFormer：通过联合训练拓扑预测器实现 Transformer 跨层连接的全局规划**

_DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections_

> DAGFormer 是一种新型 Transformer 语言模型，其核心创新在于引入由联合训练拓扑预测器控制的跨层连接。与传统 Transformer 仅使用残差连接不同，DAGFormer 建立了从早期层到后期层的直接连接，并让预测器根据输入 token 动态控制连接强度。实验表明，在相同参数规模下，DAGFormer 在 WikiText-2 上的困惑度降低了 17% 至 25%，且在常识、科学、阅读及数学等 13 项评估任务中表现更优，指令微调的 AlpacaEval 胜率也显著领先于其他路由基线。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-10-19 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.19625)