**AV-GRPO:面向联合音视频生成的模态锚定解耦扩散强化学习** _AV-GRPO: Modality-Anchored Decoupling Diffu
原帖
**AV-GRPO:面向联合音视频生成的模态锚定解耦扩散强化学习**
_AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation_
> 现有联合音视频生成模型存在单模态保真度有限、文本-模态对齐不足与跨模态同步薄弱等问题,而直接将强化学习后训练用于该任务面临多模态奖励纠缠、双塔联合优化成本高、同步评估依赖配对样本等挑战。为此作者提出 AV-GRPO——模态锚定的在线扩散强化学习框架,包含模态锚定 rollout、轨迹锁定的冻结塔优化,以及适配各模态动态的自适应目标与扰动强度,将耦合的多模态偏好学习拆解为单模态子问题;同时构建难度可控的解耦数据集 5DAV。在 JavisBench 与 VABench 上,AV-GRPO 在生成质量、语义对齐与跨模态同步方面均优于 LTX-2.3,LoRA 与全量微调下均有效。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:论文
- **发布时间**:2026-09-25 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2609.29816)