**LSP:通过端到端学习功能子空间实现高效神经网络压缩**

_Learning Functional Subspaces for Neural Network Compression_

> 针对现有低秩分解方法因忽略误差传播导致高压缩率下性能崩溃的问题,HuggingFace 社区论文提出可学习子空间投影(LSP)。该方法通过端到端联合优化正交投影器,以全局 KL 散度或训练损失为目标,在冻结预训练权重的前提下学习需丢弃的子空间。实验显示,LSP 在 Llama-2-7B 等模型上显著优于基线,在 70% 压缩率下保持较低困惑度与较高准确率,同时实现 1.6 倍解码加速及 13.5 倍内存节省。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-07 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.40127)