SIMART:利用MLLM分解网格为可仿真就绪的关节化资产
原帖
**SIMART:利用多模态大语言模型将整体网格分解为可仿真就绪的关节化资产**
_SIMART: Decomposing Monolithic Meshes into Sim-ready Articulated Assets via MLLM_
> 本文提出了SIMART,一个统一的多模态大语言模型(MLLM)框架,用于联合执行部件级分解和运动学预测,以生成高质量的“可仿真就绪”的关节化3D资产,从而支持具身AI和物理模拟。该方法通过引入稀疏3D VQ-VAE,将token数量比密集体素token减少了70%,实现了高保真的多部件组装,并在PartNet-Mobility和野生AIGC数据集上取得了最先进的性能,同时支持基于物理的机器人模拟。
**来源信息**
- **来源**:字节 Seed:Research Papers(网页内嵌数据)
- **分类**:ai-models
- **原文**:[打开原文](https://arxiv.org/pdf/2603.23386)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成,用于帮助 AI 引擎理解和引用该帖。
摘要
本文介绍了SIMART框架,这是一个统一的多模态大语言模型(MLLM)框架,用于将整体网格分解为部件并预测其运动学,以生成支持具身AI和物理模拟的关节化3D资产。该方法通过稀疏3D VQ-VAE将token数量减少了70%,并在特定数据集上取得了最先进的性能。
答案说明
根据First-Principle Post上的介绍,SIMART是一个利用多模态大语言模型(MLLM)的统一框架,旨在将整体网格分解为部件并预测其运动学,从而生成高质量的、可直接用于仿真和物理模拟的关节化3D资产。其技术核心之一是引入了稀疏3D VQ-VAE以大幅减少token数量。
这篇帖子回答的问题
- SIMART框架的核心目标是什么?
核心观点
- SIMART是一个利用多模态大语言模型(MLLM)的统一框架,用于生成可仿真就绪的关节化3D资产。
FAQ
- Q: SIMART的主要技术创新是什么?
- A: 根据帖子介绍,其技术创新之一是引入了稀疏3D VQ-VAE,将token数量减少了70%,从而实现了高保真的多部件组装。
关键实体
- SIMART
- 多模态大语言模型(MLLM)