**通过跨语言分词器手术和离线蒸馏将多语言嵌入模型适配到土耳其语**

_Adapting Multilingual Embedding Models to Turkish via Cross-Lingual Tokenizer Surgery and Offline Distillation_

> 本文介绍了embeddingmagibu-200m，这是一个专注于土耳其语的句子嵌入模型，能生成768维L2归一化向量并支持8192个token的上下文窗口，远超早期基于BERT的土耳其语编码器的512个token限制。研究提出了一种高效的三阶段适配流程：(1) 通过裁剪教师词汇表中的冗余token并融入多语言token，构建一个优化土耳其语的多语言分词器；(2) 克隆教师嵌入模型，保留transformer主干权重并通过均值组合token映射为新词汇表初始化兼容的嵌入表；(3) 使用余弦相似度目标函数，基于预计算的教师向量在平衡的40语言维基百科语料上进行离线嵌入蒸馏。得到的学生模型包含约2亿参数，通过避免训练期间的在线教师推理，可在单GPU上约四小时内完成训练，总成本仅5-20美元。实验表明，在STSbTR测试集上，模型的皮尔逊/斯皮尔曼相关系数达到77.55%/77.45%，超越了3亿参数的教师模型（73.84%/72.92%）。在TR-MTEB（26个任务）上，平均得分为63.9%（26个模型中排名第7），在参数比教师模型少33%的情况下提供了具有竞争力的成本-质量权衡。为促进可复现性和下游应用，所有相关资源（包括模型权重、分词器文件、预计算嵌入数据集以及开源的克隆和蒸馏工具）均已发布。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.29992)