**视频模态更“平等”：RecCAR 用互惠交叉注意力正则缩小联合视频生成的跨模态差距**

_All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation_

> 研究发现在联合多模态扩散 Transformer 中，跨模态对应关系存在不对称：3D 人体动作、音频等伴随模态能很好地对应视频，但反向（模态约束视频）的对应明显更弱。作者将两个方向的对应关系表示为视频 token 上的可比分布，并以二者差异定义“互惠对应差距”（reciprocal correspondence gap）。为此提出 RecCAR（Reciprocal Cross-modal Attention Regularization），一个 KL 正则项：以较稳固的视频→模态对应为固定参考，将较弱的模态→视频对应向其对齐。在视频-动作与视频-音频联合生成任务中，RecCAR 将人体解剖学评分从 0.69 提升至 0.75，并把音视频不同步指标从 0.804 降至 0.752，同时改善整体生成质量。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：论文
- **发布时间**：2026-09-24 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2609.27901)