日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.22199

MimicDreamer: 人間とロボットのデモンストレーションを統合しスケーラブルなVLA学習を実現

MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training

シェア:XThreadsFacebookLINEはてブBluesky

人間の操作動画をロボット視点・動作に変換する映像拡散モデルと視点安定化・動作整合技術を組み合わせ、実機ロボットでの少数ショット実行を可能にするVLA学習フレームワークを提案。

詳しい要約

1. どんなもの?

- 人間のデモ動画をロボットで使える教師信号に変換し、VLA (Vision Language Action) モデルの学習をスケールさせるフレームワーク MimicDreamer の提案。 - 視覚・視点・行動の3つを同時に align することで human-to-robot の domain gap を埋める。 - 構成要素は H2R Aligner (video diffusion model)、EgoStabilizer、制約付き inverse kinematics solver。 - 合成した human-to-robot 動画のみで学習した VLA が実機で few-shot 実行可能なことを示す。

2. 先行研究と比べてどこがすごい?

- 人間動画が VLA 学習に有効であることは近年確認されているが、human と robot の動画間の domain gap (不安定な視点、人手とロボットアームの見た目差、運動ダイナミクスの差) が課題だった。 - 本研究は視覚・視点・行動を jointly に align する点で先行の human video 利用研究と異なる。 - 実ロボットデータのみで学習したモデルと比べ、人間データでスケールすると6つの manipulation タスクで平均成功率が 14.7% 向上。 - 具体的な比較対象の先行研究名は要旨からは不明。

3. 技術・手法の肝は?

- 視覚 alignment: H2R Aligner と呼ばれる video diffusion model で、人間の manipulation 映像から動きを転写し高忠実度のロボットデモ動画を生成。 - 視点安定化: EgoStabilizer が egocentric 動画を homography で正規化し、warping による遮蔽や歪みを inpaint で補完。 - 行動 alignment: 人間の手の軌道をロボット座標系に写像し、制約付き inverse kinematics solver で実行可能かつ低ジッタの関節指令を生成、正確な pose tracking を実現。

4. どうやって有効だと検証した?

- 合成した human-to-robot 動画のみで学習した VLA モデルが実ロボットで few-shot 実行できることを確認。 - 人間データで学習をスケールさせると、実ロボットデータのみで学習したモデルより性能が向上。 - 6つの代表的な manipulation タスクで平均成功率が 14.7% 改善したと報告。

5. 議論はある?

- 要旨からは不明。 - 合成動画の品質や domain gap の残存、IK solver の制約による限界などについての議論は要旨には明示されていない。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な研究名は明示されていないため、同分野の定番として VLA モデル (例: RT-2 系)、video diffusion model、human video を用いたロボット学習、inverse kinematics 関連の研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyun Li, Ivan Zhang, Runqi Ouyang, Xiaofeng Wang, Zheng Zhu, Zhiqin Yang, Zhentao Zhang, Boyuan Wang, Chaojun Ni, Wenkang Qin, Xinze Chen, Yun Ye, Guan Huang, Zhenbo Song, Xingang Wang

分類: cs.RO, cs.AI

原文アブストラクト

Vision Language Action (VLA) models derive their generalization capability from diverse training data, yet collecting embodied robot interaction data remains prohibitively expensive. In contrast, human demonstration videos are far more scalable and cost-efficient to collect, and recent studies confirm their effectiveness in training VLA models. However, a significant domain gap persists between human videos and robot-executed videos, including unstable camera viewpoints, visual discrepancies between human hands and robotic arms, and differences in motion dynamics. To bridge this gap, we propose MimicDreamer, a framework that turns fast, low-cost human demonstrations into robot-usable supervision by jointly aligning vision, viewpoint, and actions to directly support policy training. For visual alignment, we propose H2R Aligner, a video diffusion model that generates high-fidelity robot demonstration videos by transferring motion from human manipulation footage. For viewpoint stabilization, EgoStabilizer is proposed, which canonicalizes egocentric videos via homography and inpaints occlusions and distortions caused by warping. For action alignment, we map human hand trajectories to the robot frame and apply a constrained inverse kinematics solver to produce feasible, low-jitter joint commands with accurate pose tracking. Empirically, VLA models trained purely on our synthesized human-to-robot videos achieve few-shot execution on real robots. Moreover, scaling training with human data significantly boosts performance compared to models trained solely on real robot data; our approach improves the average success rate by 14.7\% across six representative manipulation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI