日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画生成/模倣学習arXiv:2512.09406

H2R-Grounder: 人間のインタラクション動画を物理的に接地したロボット動画へ変換するペアデータ不要のパラダイム

H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos

シェア:XThreadsFacebookLINEはてブBluesky

人間と物体のインタラクション動画を、ペアとなるロボット動画なしで物理的に整合したロボットマニピュレーション動画に変換する動画拡散ベースのフレームワークを提案。

詳しい要約

1. どんなもの?

- 日常の人間-物体インタラクション動画を、物理的に整合したロボットマニピュレーション動画へ変換するvideo-to-video翻訳フレームワーク。 - 学習にpairedなhuman-robot動画を必要とせず、unpairedなロボット動画のみで訓練可能。 - 人間動画からロボット学習をスケールさせる方向性を示す。

2. 先行研究と比べてどこがすごい?

- 従来はpairedなhuman-robotデータ収集が高コストでスケール困難。 - 本手法はpairedデータ不要で、unpairedロボット動画のみで学習可能。 - ベースライン比でよりリアルでgroundedなロボット動作を実現したと報告。

3. 技術・手法の肝は?

- 訓練動画のロボットアームをinpaintingしてクリーン背景を得て、gripper位置・向きを示すmarkerとarrowの視覚cueを重畳。 - 生成モデルを条件付けしてロボットアームを再挿入させる転移可能表現を導入しembodiment gapを橋渡し。 - テスト時は人間動画で人物をinpaintしhuman pose cueを重畳して同処理を適用。 - SOTA video diffusion model(Wan 2.2)をin-context learning的にfine-tuneし時間的一貫性と事前知識を活用。

4. どうやって有効だと検証した?

- ベースラインとの比較実験で、よりリアルでgroundedなロボット動作が得られることを実証。 - 具体的な定量指標・データセットは要旨からは不明。

5. 議論はある?

- unlabeled人間動画からロボット学習をスケールさせる有望性を主張。 - 限界や失敗ケース、定量評価の詳細は要旨からは不明。

6. 次に読むべき論文は?

- Wan 2.2(video diffusion model) - inpaintingベースのvideo-to-video翻訳 - in-context learningによるfine-tuning - human videoからのロボット学習(関連手法は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hai Ci, Xiaokang Liu, Pei Yang, Yiren Song, Mike Zheng Shou

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Robots that learn manipulation skills from everyday human videos could acquire broad capabilities without tedious robot data collection. We propose a video-to-video translation framework that converts ordinary human-object interaction videos into motion-consistent robot manipulation videos with realistic, physically grounded interactions. Our approach does not require any paired human-robot videos for training only a set of unpaired robot videos, making the system easy to scale. We introduce a transferable representation that bridges the embodiment gap: by inpainting the robot arm in training videos to obtain a clean background and overlaying a simple visual cue (a marker and arrow indicating the gripper's position and orientation), we can condition a generative model to insert the robot arm back into the scene. At test time, we apply the same process to human videos (inpainting the person and overlaying human pose cues) and generate high-quality robot videos that mimic the human's actions. We fine-tune a SOTA video diffusion model (Wan 2.2) in an in-context learning manner to ensure temporal coherence and leveraging of its rich prior knowledge. Empirical results demonstrate that our approach achieves significantly more realistic and grounded robot motions compared to baselines, pointing to a promising direction for scaling up robot learning from unlabeled human videos. Project page: https://showlab.github.io/H2R-Grounder/

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI