**SlideDP:突破显存限制的多GPU主机驻留LLM微调框架**

_SlideDP: Scaling Host-Resident LLM Fine-Tuning Across Multiple GPUs_

> 针对主机驻留层流式微调中数据并行竞争共享主机资源的问题,提出同步数据并行运行时SlideDP。该框架通过维护单一权威主机状态、解耦通信路由与状态布局,并流水线化参数分发、梯度聚合及CPU更新,显著优化资源瓶颈。实验显示,SlideDP吞吐量较SlideFormer等基线提升1.46-2.64倍,在4张H100上接近GPU驻留FSDP2性能,并支持在4张RTX 4090上微调Qwen2.5-72B模型。

**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-01 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.34162)