**OmniVideo-100K：通过结构化脚本与证据链实现音视频推理的数据集**

_OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains_

> 目前音视频问答的自动化流程大多采用“视频-字幕-QA”范式，但存在视听信号解耦、跨片段描述不一致、缺乏长期跨模态推理等问题。这篇论文提出一个自动数据引擎，包含两个机制：实体锚定视频脚本将视频转化为含摘要、实体列表和分段视听描述的结构化脚本，利用实体列表确保跨片段一致性并重建视听关联；线索引导的QA生成先挖掘跨片段多模态线索，再基于线索生成问答对。基于该流水线构建了指令微调数据集OmniVideo-100K和人工验证测试集OmniVideo-Test。在OmniVideo-100K上微调VITA-1.5、Qwen2.5-Omni-7B和Qwen3-Omni-30B后，OmniVideo-Test性能提升达20.59%，在Daily-Omni、JointAVBench等基准上也展现出高达12.64%的泛化提升。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-15 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.14702)