**近零 Token 嵌入导致门控序列模型训练静默停滞，提出修复方案**

_Near-Zero Token Embeddings Silently Stall Training in Gated Sequence Models_

> 研究发现，在 52.6% 的未绑定权重开源模型中，近零 Token 嵌入会引发梯度爆炸或消失，导致训练静默停滞。针对此问题，论文提出了两种修复方案：针对已发布模型，通过 GroupClip 解耦输入嵌入截断；针对预训练阶段，采用 GateFloor 技术保持门控正值，有效抑制梯度异常并恢复模型更新。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-11-04 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2611.04449)