日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.12705

DreamGen:動画世界モデルでロボット学習の汎化を解き放つ

DreamGen: Unlocking Generalization in Robot Learning through Video World Models

シェア:XThreadsFacebookLINEはてブBluesky

画像から動画を生成するモデルでロボットの疑似行動データを作り、1つのテレオペデータから多様な行動・環境への汎化を実現する4段階パイプラインを提案。

詳しい要約

1. どんなもの?

- ロボット方策を behavior と environment に汎化させるための 4-stage pipeline「DreamGen」 - video world model から生成した synthetic robot data(neural trajectories)で学習 - 対象は humanoid robot の操作タスク - 構成要素 - 最先端の image-to-video generative model を対象 embodiment に適応 - 生成動画から pseudo-action を復元(latent action model または inverse-dynamics model (IDM)) - 付随成果 - 評価用 benchmark「DreamGen Bench」を提案 - code 公開(NVIDIA/GR00T-Dreams)

2. 先行研究と比べてどこがすごい?

- 従来のロボット学習は人手の teleoperation data 収集に依存し、behavior/environment の汎化が難しい - DreamGen は video world model による synthetic data でこれを補う新軸を提示 - 単一環境・単一 pick-and-place タスクの teleoperation data のみから出発 - すごい点 - 22 種類の新 behavior を seen/unseen 両環境で humanoid が実行 - 生成動画のみから pseudo-action を復元する簡素な設計で汎化を達成 - DreamGen Bench が下流 policy 成功率と強く相関することを示し、系統的評価を可能に - 具体的な prior 手法名との比較は要旨からは不明

3. 技術・手法の肝は?

- 4-stage pipeline(各 stage の詳細は要旨からは不明) - video world model - state-of-the-art の image-to-video generative model を採用 - 対象 robot embodiment に適応させ、既知/新規タスクの photorealistic な synthetic video を多様環境で生成 - pseudo-action の復元 - 生成物は video のみのため、latent action model または inverse-dynamics model (IDM) で action 列を推定 - 得られた neural trajectories で robot policy を学習 - 評価基盤として DreamGen Bench(video generation benchmark)を導入

4. どうやって有効だと検証した?

- humanoid robot による実機検証 - 単一環境の単一 pick-and-place タスクの teleoperation data のみで学習 - seen/unseen 環境で 22 の新 behavior を実行できることを確認 - DreamGen Bench による系統的評価 - video generation benchmark の性能と downstream policy の success の間に強い相関を報告 - 定量的な成功率や比較手法の数値は要旨からは不明

5. 議論はある?

- 人手データ収集を超えて robot learning を scale する新軸としての可能性を主張 - 限界・議論点 - video world model の生成品質への依存(benchmark と policy success の相関が示唆) - pseudo-action 復元の精度(latent action model / IDM)が policy 性能に与える影響は要旨からは不明 - 実機で確認された behavior 数や環境数は限定的で、一般化可能性の範囲は要旨からは不明 - 失敗例や安全性の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - inverse-dynamics model (IDM) - latent action model - image-to-video generative model(具体的な model 名は要旨からは不明) - 関連手法として挙げられるもの - DreamGen Bench(本論文の benchmark) - NVIDIA/GR00T-Dreams の code - 同分野の定番として検討すべき一般名 - video world model - imitation learning - teleoperation - humanoid robot learning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Joel Jang, Seonghyeon Ye, Zongyu Lin, Jiannan Xiang, Johan Bjorck, Yu Fang, Fengyuan Hu, Spencer Huang, Kaushil Kundalia, Yen-Chen Lin, Loic Magne, Ajay Mandlekar, Avnish Narayan, You Liang Tan, Guanzhi Wang, Jing Wang, Qi Wang, Yinzhen Xu, Xiaohui Zeng, Kaiyuan Zheng, Ruijie Zheng, Ming-Yu Liu, Luke Zettlemoyer, Dieter Fox, Jan Kautz, Scott Reed, Yuke Zhu, Linxi Fan

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

We introduce DreamGen, a simple yet highly effective 4-stage pipeline for training robot policies that generalize across behaviors and environments through neural trajectories - synthetic robot data generated from video world models. DreamGen leverages state-of-the-art image-to-video generative models, adapting them to the target robot embodiment to produce photorealistic synthetic videos of familiar or novel tasks in diverse environments. Since these models generate only videos, we recover pseudo-action sequences using either a latent action model or an inverse-dynamics model (IDM). Despite its simplicity, DreamGen unlocks strong behavior and environment generalization: a humanoid robot can perform 22 new behaviors in both seen and unseen environments, while requiring teleoperation data from only a single pick-and-place task in one environment. To evaluate the pipeline systematically, we introduce DreamGen Bench, a video generation benchmark that shows a strong correlation between benchmark performance and downstream policy success. Our work establishes a promising new axis for scaling robot learning well beyond manual data collection. Code available at https://github.com/NVIDIA/GR00T-Dreams.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI