**OmniCap-IF：首个全面评估全模态视频描述指令遵循能力的基准**

_OmniCap-IF: Benchmarking and Improving Instruction Following Abilities for Omni-Video Captioning_

> 全模态大语言模型在音视频联合处理上表现优异，但其严格遵循复杂用户指令的能力仍未被充分探索。OmniCap-IF 通过格式与内容双重评估维度、涵盖纯视觉、纯音频及音视觉的 50 种约束类型，并融合时间定位，首次系统评测了全模态视频描述的指令遵循能力。基于 1920 个样本的测试揭示了显著性能差异与‘格式-内容权衡’现象，即格式复杂度提升会削弱模型的推理能力。为此，团队构建了 5.4 万条指令微调数据集 OmniCap-IF-54K，并推出 OmniCaptioner-IF 模型，在复杂指令遵循与通用全模态描述任务上均取得显著改进。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-06-09 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2606.08572)