混合专家模型

BEAM：基于二进制专家激活掩码的MoE动态路由加速方法

本文介绍了论文提出的BEAM方法，用于优化混合专家（MoE）模型的推理效率。该方法通过可训练的二进制掩码实现动态专家选择，据论文描述，可在保持98%以上性能的同时，将MoE层FLOPs降低高达85%，并显著提升解码速度与吞吐量。