**引入层误差模型搜索与 KFAC-SVD 突破 SVD 大模型压缩瓶颈**

_Advancing SVD-based LLM Compression via Layer-Wise Error Model Search_

> 针对现有低秩 SVD 压缩方法存在的全球秩分配不准与分解质量差两大局限，本研究提出了层误差模型搜索（LEMS）和 KFAC-SVD。LEMS 通过引入层误差代理解决了秩分配问题，而 KFAC-SVD 利用 token 统计信息改善了分解质量。实验表明，该方法在 Mistral、Qwen3 和 Llama 3 系列模型上均显著优于现有策略，实现了最高 4.8 个百分点的零样本准确率提升，且能推广至 70B 参数模型，同时使困惑度平均降低 15%。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-03 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.32878)