**面向混合专家模型的置信度自适应SwiGLU激活函数**

_Confidence-Adaptive SwiGLU for Mixture-of-Experts_

> 本文提出了一种针对混合专家模型的SwiGLU激活函数变体——置信度自适应SwiGLU（κ-SwiGLU）。该方法通过根据令牌级路由置信度动态调整专家门控函数的锐度，使每个专家门控单元能在平滑广泛激活与尖锐选择性激活之间自适应插值。在FineWeb-Edu数据集上对8至28层MoE Transformer模型的评估显示，κ-SwiGLU在仅引入极少量参数和较小计算开销的情况下，显著提升了平均CORE性能，证明了置信度感知门控锐度是改进MoE MLP的一种有前景的机制。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.00761)