日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビデオ生成/身体性転写arXiv:2605.12038

OmniHumanoid: ペアデータ不要の適応によるストリーミング型クロス身体性ビデオ生成

OmniHumanoid: Streaming Cross-Embodiment Video Generation with Paired-Free Adaptation

シェア:XThreadsFacebookLINEはてブBluesky

異なる身体性(人間やロボット)間で動作を転写するビデオ生成フレームワークを提案。共有動作モデルと軽量な身体性アダプタにより、ペアデータなしで新しいロボットへの適応を可能にした。

詳しい要約

1. どんなもの?

- どんなもの? - 異なるhumanoid embodiment間で動きを転送するcross-embodiment video generationのフレームワーク。 - human-to-robotやrobot-to-robotの動き転送を可能にし、embodied intelligence向けのデータ生成をスケールさせる。 - 転送可能なmotion learningとembodiment-specific adaptationを分離する。 - 新embodimentへの適応はunpaired videosのみで軽量adapterを用いる。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 既存手法はmotion dynamicsとappearance/morphologyを絡めて扱い、各target embodimentにpaired dataを要求するためスケーラビリティが限られる。 - 提案手法はmotion-aligned paired videosからshared motion transfer modelを学習し、新embodimentにはunpaired videosのみで適応可能。 - これにより未見humanoid embodimentへのスケーラブルな適応を、shared motion modelの再学習なしで実現する。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - 転送可能なmotion learningとembodiment-specific adaptationをfactorizeする。 - 複数embodimentにまたがるmotion-aligned paired videosからshared motion transfer modelを学習。 - 新embodimentへはunpaired videosと軽量embodiment-specific adaptersで適応。 - motion transferとembodiment adaptationの干渉を減らすため、motion conditioningとembodiment-specific modulationを分離するbranch-isolated attentionを導入。 - 多様なhumanoid assets、scenes、viewpointsでレンダリングしたmotion-aligned paired videosのsynthetic cross-embodiment datasetを構築。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - syntheticおよびreal-world benchmarksで実験。 - 強いmotion fidelityとembodiment consistencyを達成。 - shared motion modelを再学習せずに未見humanoid embodimentへスケーラブルに適応できることを示す。

5. 議論はある?

- 議論はある? - 要旨からは不明。 - 限界や失敗ケース、計算コスト、データセットの詳細な議論は要旨では触れられていない。

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてcross-embodiment video generation、human-to-robot motion transfer、robot-to-robot motion transfer、embodiment-specific adapter、branch-isolated attention、motion-aligned paired videos、synthetic cross-embodiment datasetが挙げられる。 - 同分野の定番としてhuman motion transfer、video generation、embodied intelligence向けデータ生成の研究を参照するとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiren Song, Xiyao Deng, Pei Yang, Yihan Wang, Mike Zheng Shou

分類: cs.CV

原文アブストラクト

Cross-embodiment video generation aims to transfer motions across different humanoid embodiments, such as human-to-robot and robot-to-robot, enabling scalable data generation for embodied intelligence. A major challenge in this setting is that motion dynamics are partly transferable across embodiments, whereas appearance and morphology remain embodiment-specific. Existing approaches often entangle these factors, and many require paired data for every target embodiment, which limits scalability to new robots. We present OmniHumanoid, a framework that factorizes transferable motion learning and embodiment-specific adaptation. Our method learns a shared motion transfer model from motion-aligned paired videos spanning multiple embodiments, while adapting to a new embodiment using only unpaired videos through lightweight embodiment-specific adapters. To reduce interference between motion transfer and embodiment adaptation, we further introduce a branch-isolated attention design that separates motion conditioning from embodiment-specific modulation. In addition, we construct a synthetic cross-embodiment dataset with motion-aligned paired videos rendered across diverse humanoid assets, scenes, and viewpoints. Experiments on both synthetic and real-world benchmarks show that OmniHumanoid achieves strong motion fidelity and embodiment consistency, while enabling scalable adaptation to unseen humanoid embodiments without retraining the shared motion model.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI