稀疏编码器

SemBridge：通过多语言语义桥实现稀疏编码器的语言迁移

本文介绍SemBridge，一种新的嵌入初始化方法，通过利用多语言密集嵌入作为桥梁，解决稀疏编码器跨语言适应中的结构限制。该方法在源语言和目标语言词汇间建立语义对齐，加速微调收敛并提高训练效率，在五种语言和四种稀疏架构上实现了卓越的零样本检索性能。