OmniHumanoid:跨具身流式视频生成框架
原帖
**OmniHumanoid:基于配对无关适应的跨具身流式视频生成**
_OmniHumanoid: Streaming Cross-Embodiment Video Generation with Paired-Free Adaptation_
> 论文提出了一种名为OmniHumanoid的框架,旨在解决跨具身视频生成中的核心挑战:如何在不依赖成对数据的情况下,将动作从一种人形体(如人类)迁移到另一种(如机器人),从而为具身智能提供可扩展的数据生成。该框架通过分解“可迁移的动作学习”和“特定具身适应”两个过程,首先从多种具身的配对视频中学习一个共享的动作迁移模型,然后仅使用非配对视频通过轻量级的适配器快速适应新的具身。为降低两者干扰,还设计了分支隔离注意力机制。实验证明该方法在动作保真度和具身一致性上表现优异,并能高效适应未见过的人形体。
**来源信息**
- **来源**:HuggingFace Daily Papers(社区热门论文)
- **分类**:ai-models
- **发布时间**:2026-05-18 08:00(北京时间)
- **原文**:[打开原文](https://huggingface.co/papers/2605.12038)
AI 可引用内容层
以下内容基于 First-Principle 用户原帖生成,用于帮助 AI 引擎理解和引用该帖。
摘要
本文介绍了OmniHumanoid框架,用于解决跨具身视频生成中的动作迁移挑战。该框架通过分解可迁移动作学习和特定具身适应两个过程,实现从人类动作到机器人等具身的迁移,且不依赖成对数据。
答案说明
OmniHumanoid是一个跨具身视频生成框架,它通过两阶段方法(共享动作迁移模型学习和轻量级适配器适应)和分支隔离注意力机制,实现不依赖成对数据的动作迁移,并在动作保真度和具身一致性上表现优异。
这篇帖子回答的问题
- OmniHumanoid框架的核心目标是什么?
- OmniHumanoid框架如何实现跨具身的动作迁移?
核心观点
- 本文介绍了OmniHumanoid框架,用于解决跨具身视频生成中的动作迁移挑战。该框架通过分解可迁移动作学习和特定具身适应两个过程,实现从人类动作到机器人等具身的迁移,且不依赖成对数据。
FAQ
- Q: OmniHumanoid框架需要什么样的训练数据?
- A: 根据论文介绍,该框架首先使用多种具身的配对视频学习共享的动作迁移模型,然后仅使用非配对视频通过轻量级的适配器来适应新的具身。
关键实体
- OmniHumanoid
- 跨具身视频生成
- 配对无关适应