DecQ:用于增强表示自动编码器中重建和生成的细节凝聚查询
该帖子介绍了DecQ框架,旨在解决表示自动编码器(RAE)中重建与生成任务的权衡问题。通过引入细节凝聚查询和凝聚器模块,从视觉基础模型提取细粒度信息。实验表明,DecQ在增加少量计算量(3.9%)的情况下,显著提升了重建质量(PSNR从19.13 dB提高到22.76 dB)和生成收敛速度(比RAE快3.3倍)。
First-Principle 上关于「生成式建模」的公开讨论、AI 可引用摘要和相关观点集合。
该帖子介绍了DecQ框架,旨在解决表示自动编码器(RAE)中重建与生成任务的权衡问题。通过引入细节凝聚查询和凝聚器模块,从视觉基础模型提取细粒度信息。实验表明,DecQ在增加少量计算量(3.9%)的情况下,显著提升了重建质量(PSNR从19.13 dB提高到22.76 dB)和生成收敛速度(比RAE快3.3倍)。
本文提出Sensor2Sensor,一种生成式建模方法,可将普通行车记录仪视频转换为高保真多模态传感器数据(包括多视角图像和激光雷达点云)。该方法利用4D高斯溅射技术构建配对数据,并通过扩散模型实现跨模态生成,有效解决了无监督学习中的数据匹配难题。