**变宽Transformer：非均匀层宽实现高效扩展**

_Variable-Width Transformers_

> 本文提出变宽Transformer架构（\><former），早期和后期层宽、中间层窄，通过无参残差缩放连接。在200M到2B参数模型上，其语言建模损失一致优于参数匹配的均匀基线，同时减少22% FLOPs和15% KV缓存开销。分析表明，该瓶颈结构改变了残差流表示，证明了非均匀宽度分配能更优地扩展模型资源。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-17 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.18246)