**神经谱容量 NSC：仅凭网络规格衡量与设计架构**

_Neural Spectral Capacity: Measuring and Designing Architectures from Network Specification Alone_

> 论文提出神经谱容量（NSC）——一种基于权重矩阵奇异值谱的闭式标量。在标准随机初始化下，借助 Marchenko-Pastur 定律，NSC 可仅从架构规格计算，无需实例化模型、数据或梯度。其逐层可加结构支撑 NSC-DP 动态规划求解器，可在 CPU 上数秒内求出资源约束下 NSC 全局最优的架构，这是黑盒搜索无法保证的。实验显示，NSC 在七类 Transformer 与 CNN 家族中的排名能力优于参数量、FLOPs 及代表性免训练代理指标；NSC-DP 在 WikiText-103 上 2 秒发现超越人工设计的 Transformer-XL，并将 LLaMA-7B 剪枝为八项常识推理任务上最优的 5.7B 模型，且无需校准数据，比最强免训练代理基线快约 5900 倍。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-25 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.23087)