**LiveFoley:实现低延迟的实时视频生成音频技术** _LiveFoley: Dynamic Real-Time Video-to-Audio Gen
原帖
**LiveFoley:实现低延迟的实时视频生成音频技术**
_LiveFoley: Dynamic Real-Time Video-to-Audio Generation for Immersive Interactive Worlds_
> 针对现有实时视频生成音频(V2A)方法在延迟和音质上的瓶颈,LiveFoley 提出了一种流式因果自回归扩散架构。该模型通过引入“拖尾滑动窗口”优化视觉前端以消除重训成本并降低延迟,同时利用“统一变步长框架”灵活适配不同场景;在音频后端,通过扩展扩散 Transformer 的时间窗口,在无需额外延迟或可接受延迟的前提下显著提升了生成质量,实现了与离线模型相当的时序对齐效果。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:ai-models
- **发布时间**:2026-11-05 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2611.05988)