**DepthGraft：通过分层跨层 KV 重构实现深度结构化正则化**

_DepthGraft: Structural Regularization through Hierarchical Cross-Layer KV Reconstruction_

> 针对 Pre-LN 架构在模型加深时出现的深度信息稀释问题，DepthGraft 提出了一种高效的跨层 KV 共享方案。该架构通过从浅层中间层对按步长对齐地重构深层 KV，将 KV 共享转化为隐式的结构化正则化器，优化了键的检索方向与值的内容子空间。实验表明，在 0.5B 至 16B 参数量的模型上，DepthGraft 在保持预填充早期完成并减少约三分之一 KV 缓存的同时，显著提升了 MMLU-Pro 等基准测试表现，验证了其作为大规模预训练可扩展设计的潜力。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-11 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.03142)