**DepthBench：评估残差连接如何提升Transformer有效计算深度**

_DepthBench: Measuring How Residual Connections Enable More Computational Depth_

> HuggingFace社区热门论文提出DepthBench基准，旨在系统研究Transformer中架构深度与有效计算深度的关系。该研究在固定模型规模的前提下，通过改变宽深比测试了10种代表性架构。结果显示，标准Pre-LN及其变体在深层窄模型中性能提升有限甚至下降，而HC和Full AttnRes等改进的残差连接设计能显著提升深层模型的有效计算能力。研究证实，残差连接设计是决定深度能否作为有效扩展轴的关键因素。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-29 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.32534)