**训练自由 MoE 专家剪枝：替换算子与路由语义研究**

_What We Keep of What We Forget: Replacement Operators and Routing Semantics in Training-Free MoE Expert Pruning_

> 该研究对比了三种替换算子家族在训练自由 MoE 专家剪枝中的表现，发现幸存者门控缩放比例是影响性能的关键因素。研究引入了“倾斜新手”算子，这是一种闭式低秩映射，在特定情况下退化为常数输出，相比传统方法在参数增加极少的情况下显著提升了模型性能。此外，研究还指出评估基准的选择（如多选择题与代码生成）会极大影响结论，并提出了五项报告检查清单以规范相关研究。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-11-04 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2610.41366)