**SigmaScale: 通过SVD低秩分解与学习缩放矩阵实现LLM压缩**

_SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices_

> SigmaScale 提出一种基于学习辅助缩放矩阵的LLM压缩方法，优化对角行列缩放向量以适配激活感知压缩损失，降低权重矩阵有效秩熵。在 Llama 3.1 8B 和 Qwen3-8B 上，该方法在困惑度及零样本基准中表现与前沿SVD压缩方案相当，为低秩压缩提供了灵活路径，适用于降低推理计算成本。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-09 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.07098)