**LSL:基于局部支持学习的LLM灾难性遗忘解决方案** _Local Support Learning_ > HuggingFace社区热门论文提出Lo
原帖
**LSL:基于局部支持学习的LLM灾难性遗忘解决方案**
_Local Support Learning_
> HuggingFace社区热门论文提出Local Support Learning (LSL)框架,旨在解决大模型训练中的灾难性遗忘问题。该方法将遗忘视为输入空间的几何问题,通过结合标准权重适配器与基于高斯混合模型(GMM)的门控函数,使更新仅作用于当前训练分布的局部区域。LSL无需访问历史数据,即可在70亿参数规模的LLM中有效保留预训练及微调能力,具备高计算效率、低显存占用及对超参数不敏感等优势。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-05 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.02126)