**VideoMLA：用于分钟级自回归视频扩散的低秩潜在KV缓存**

_VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion_

> 该研究首次将多头潜在注意力（MLA）引入视频扩散模型，提出VideoMLA方法。它用共享的低秩内容潜在表示和共享的解耦3D旋转位置编码替代了传统的每头键值对，将每个缓存层每标记的KV内存消耗降低了92.7%。研究发现，尽管语言模型中常用光谱假设（即注意力矩阵近似低秩）来解释MLA的有效性，但预训练视频注意力并非低秩（99%能量有效秩远高于实用潜在维度）。VideoMLA在高压缩比下仍能保持质量，表明MLA的瓶颈（而非预训练光谱）决定了有效秩。在VBench基准上，VideoMLA在短时流式视频扩散中匹配基线，在长时场景中取得最佳总分，并在单张B200 GPU上将吞吐量提升1.23倍。

**来源信息**
- **来源**：HuggingFace Daily Papers（社区热门论文）
- **分类**：ai-models
- **发布时间**：2026-06-02 08:00（北京时间）
- **原文**：[打开原文](https://huggingface.co/papers/2605.30351)