**利用MoE路由器实现解码器模型的跨语言对齐** _Cross-Lingual Alignment for Decoder-Only Models usin
原帖
**利用MoE路由器实现解码器模型的跨语言对齐**
_Cross-Lingual Alignment for Decoder-Only Models using MoE Routers_
> 针对解码器LLM因分词差异难以进行跨语言对比学习的问题,该研究提出利用混合专家(MoE)路由器的输出作为对齐目标。实验表明,这种路由损失不仅能有效对齐底层隐藏表示,还能显著提升多语言迁移性能。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-10-07 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.01921)