**LatentOmni：通过统一视听潜在推理重新思考全模态理解**

_LatentOmni: Rethinking Omni-Modal Understanding via Unified Audio-Visual Latent Reasoning_

> 该论文针对当前多模态大语言模型在音频-视觉联合推理中的不足，提出LatentOmni框架。其核心创新在于用统一的潜在空间替代基于文本的显式思维链，以保留连续的视听信号信息，避免离散化带来的细节损失和语言先验偏见。该框架通过特征级监督对齐潜在推理状态，并引入Omni-Sync位置嵌入以保持视听状态的时序一致性。同时构建了LatentOmni-Instruct-35K数据集用于训练。实验表明，LatentOmni在多个视听推理基准上表现优于现有开源模型和显式文本思维链基线，证明了潜在空间联合推理是实现更强全模态理解的可行路径。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-05-22 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.22012)