**Hyper-Connections 架构简化：提出 SimpleHC 实现高效稳定扩展**

_On the Design of Hyper-Connections: Simplification, Stability, and Scalability_

> 针对前沿大模型中 Hyper-Connections (HC) 架构组件理解不足及训练开销大的问题，研究提出了简化版 SimpleHC。该架构通过移除残差混合、采用共享内存访问及分层门控机制，在仅增加 2.4% 训练时间的前提下，实现了与 mHC 相当的性能，并在 15B 至 30B 规模下保持性能稳定，同时优化了梯度动态。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-13 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.05984)