**将MoE模型剪枝与蒸馏为稠密语言模型的新框架**

_Pruning and Distilling Mixture-of-Experts into Dense Language Models_

> 该研究首次系统性提出将混合专家（MoE）模型转换为标准稠密架构的框架：通过专家评分、选择、分组并拼接为稠密前馈网络，再经知识蒸馏精炼。新提出的多样性感知评分方法在多个模型上优于先前方法，同等参数下比稠密剪枝平均准确率高6.3个百分点，且训练速度更快。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-09 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.28207)