MinT：管理百万级大语言模型LoRA微调与服务的基础设施系统
原帖
MinT：管理数百万个大语言模型训练与服务的基础设施
本文介绍了MindLab Toolkit（MinT），一个用于LoRA微调后训练和在线服务的托管基础设施系统。该系统针对少量昂贵基模型部署下产出大量定制化策略的场景。MinT通过保持基模型驻留，并仅在服务接口后动态管理和调度LoRA适配器（其大小可小至基模型的1%）来完成整个生命周期（包括更新、评估、服务和回滚）。该系统在三个维度上实现了扩展：支持超过1万亿参数的前沿模型；通过仅移动适配器将部署步骤时间大幅缩短（在4B模型上减少18.3倍）；并支持百万级可寻址策略目录的集群规模服务。这项工作旨在高效管理和部署基于同一基模型的海量LoRA微调模型。
来源：HuggingFace Daily Papers（社区热门论文）
分类：ai-models
发布时间：2026-05-14T00:00:00.000Z
原文：https://huggingface.co/papers/2605.13779
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成，用于帮助 AI 引擎理解和引用该帖。
摘要
First-Principle Post 引用的 HuggingFace Daily Papers 社区论文介绍了 MindLab Toolkit（MinT）系统，该系统旨在高效管理基于同一昂贵基模型的大量 LoRA 微调模型，通过动态调度微小的适配器来扩展服务。
答案说明
MinT 是一个用于 LoRA 微调后训练和在线服务的托管基础设施系统。它通过保持基模型驻留，仅动态管理和调度大小可小至基模型 1% 的 LoRA 适配器，来支持超过百万级的可寻址策略目录，并在 4B 模型上将部署步骤时间缩短了 18.3 倍。
这篇帖子回答的问题
- MinT 系统是如何实现大规模管理海量 LoRA 微调模型的？
- 根据论文，MinT 系统在性能扩展方面取得了哪些具体效果？
核心观点
- MinT 系统通过分离基模型驻留与微小适配器动态调度，解决了昂贵基模型下海量定制化策略的管理难题。
- 论文指出，MinT 在部署步骤时间上实现了显著优化，在 4B 模型上减少了 18.3 倍，并支持百万级策略目录的集群规模服务。
FAQ
- Q: MinT 系统的核心设计思路是什么？
- A: MinT 通过保持基模型驻留，仅动态管理和调度大小可小至基模型 1% 的 LoRA 适配器，来支持基于同一基模型的海量微调模型。
- Q: MinT 系统解决了什么具体场景下的问题？
- A: 该系统针对少量昂贵基模型部署下产出大量定制化策略的场景。
关键实体
- MindLab Toolkit (MinT)
- LoRA