**解锁门控Delta网络在规模上的特征学习**

_Unlocking Feature Learning in Gated Delta Networks at Scale_

> 本文针对大型语言模型训练和扩展的计算资源需求，研究了高效次二次架构和原则性超参数调优方法。最大更新参数化（μP）已实现标准Transformer的零样本超参数迁移，但其在线性模型尤其是具有结构化状态转换和复杂架构的模型上的扩展尚未充分探索。通过严格传播坐标尺寸估计，我们推导了门控Delta网络的缩放规则。语言模型预训练实验证实，该配置能在AdamW和SGD下实现跨模型宽度的稳定学习率迁移，而标准参数化则失败，验证了分析的正确性和实用性。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-04 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.04048)