日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビデオ生成/身体性転移arXiv:2605.03637

身体性ギャップを橋渡しする:分離型クロス身体性ビデオ編集

Bridging the Embodiment Gap: Disentangled Cross-Embodiment Video Editing

シェア:XThreadsFacebookLINEはてブBluesky

人間のデモ動画からロボットの実行動画を生成する際、タスク情報と身体性情報を分離して表現し、拡散モデルを用いてロボット動画を合成する手法を提案した。

詳しい要約

1. どんなもの?

- 人間の動画からロボットの操作を学習する際のデータ不足を解決するため、cross-embodiment video editing を提案。 - 人間の実演動画を、タスクと身体性の2つの直交潜在空間に明示的に分離する生成フレームワーク。 - 単一の人間実演から、対応するロボット実行動画を合成する。

2. 先行研究と比べてどこがすごい?

- 既存手法はタスク情報と人間固有の運動学が絡み合った表現を生成し、適応性が限定的。 - 提案法はタスクと身体性を明示的に分離することで、この問題に対処。 - ペアの cross-embodiment データを必要とせず、スケーラブルな解決策を提供。

3. 技術・手法の肝は?

- 実演動画を2つの直交潜在空間に因子分解。 - 双対コントラスト目的関数:空間間の相互情報量を最小化して独立性を確保し、空間内の一貫性を最大化して安定表現を生成。 - パラメータ効率の良い adapter を凍結した video diffusion model に注入し、潜在コードを利用してロボット実行動画を合成。

4. どうやって有効だと検証した?

- 実験により、時間的に一貫性があり形態的に正確なロボット実演を生成することを示した。 - 具体的な評価指標やデータセットは要旨からは不明。

5. 議論はある?

- 提案法はインターネット規模の人間動画をロボット学習に活用するスケーラブルな解決策を提供。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、video diffusion model、contrastive learning、cross-embodiment learning の定番論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhiyuan Li, Wenyan Yang, Wenshuai Zhao, Yue Ma, Yuanpeng Tu, Pekka Marttinen, Joni Pajarinen

分類: cs.RO

原文アブストラクト

Learning robotic manipulation from human videos is a promising solution to the data bottleneck in robotics, but the distribution shift between humans and robots remains a critical challenge. Existing approaches often produce entangled representations, where task-relevant information is coupled with human-specific kinematics, limiting their adaptability. We propose a generative framework for cross-embodiment video editing that directly addresses this by learning explicitly disentangled task and embodiment representations. Our method factorizes a demonstration video into two orthogonal latent spaces by enforcing a dual contrastive objective: it minimizes mutual information between the spaces to ensure independence while maximizing intra-space consistency to create stable representations. A parameter-efficient adapter injects these latent codes into a frozen video diffusion model, enabling the synthesis of a coherent robot execution video from a single human demonstration, without requiring paired cross-embodiment data. Experiments show our approach generates temporally consistent and morphologically accurate robot demonstrations, offering a scalable solution to leverage internet-scale human video for robot learning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI