NEWTON框架:通过智能体规划提升视频生成物理一致性
本文介绍了NEWTON框架,它通过将视频生成降级为智能体工具箱中的一个动作,并引入一个可学习的规划器来协调物理感知工具,从而解决视频生成中的物理常识违反问题。该框架在不修改底层生成模型的情况下,在VideoPhy-2基准测试中提升了联合准确率。
First-Principle 上关于「物理模拟」的公开讨论、AI 可引用摘要和相关观点集合。
本文介绍了NEWTON框架,它通过将视频生成降级为智能体工具箱中的一个动作,并引入一个可学习的规划器来协调物理感知工具,从而解决视频生成中的物理常识违反问题。该框架在不修改底层生成模型的情况下,在VideoPhy-2基准测试中提升了联合准确率。
字节跳动旗下研究团队发布了Seed3D 2.0,这是一个在Seed3D 1.0基础上进行重大升级的3D内容生成系统。其核心改进包括采用粗到细的两阶段几何生成管线、用统一的PBR模型生成纹理材质,并新增了面向物理模拟的“模拟就绪”模型套件。一项大规模人类偏好研究表明,该系统在有纹理的3D资产生成方面,相比五款近期商业模型取得了69.0%至89.9%的稳定胜率。