**Omni-Embed-Mini:通过密集蒸馏实现多模态嵌入且保持文本检索性能** _Omni-Embed-Mini: Binding Modalities
原帖
**Omni-Embed-Mini:通过密集蒸馏实现多模态嵌入且保持文本检索性能**
_Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation_
> Omni-Embed-Mini 是一款 0.9B 参数的高效多模态嵌入模型,支持文本、语音、图像、视频等五种模态映射至统一余弦空间。其核心创新在于利用冻结骨干网络对密集级联字幕的嵌入作为教师信号,无需额外嵌入模型,且训练过程中不更新任何文本侧参数,从而确保文本检索质量(MTEB-v2 BEIR-8 nDCG@10 达 49.57)不降级。该模型体积比现有开源全模态嵌入器小 2.7 至 9.5 倍,其 2.3B 变体在整体模态平均性能上甚至超越闭源模型 gemini-embedding-2。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:ai-models
- **发布时间**:2026-10-02 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2610.02148)