日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデル/事前学習arXiv:2606.29501

行動から世界モデリングへの転移可能なダイナミクス事前学習

Learning Transferable Dynamics Priors from Action to World Modeling

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作データを用いて行動条件付きの世界モデルを事前学習し、そのダイナミクス事前知識をシミュレータとポリシー学習の両方に転移させる手法を提案した。

詳しい要約

1. どんなもの?

- アクション条件付き世界モデリングを、ロボット学習のための転移可能なダイナミクス事前分布を学習するスケーラブルな方法として研究。 - 大規模ロボット操作データと実アクション注釈を用いて、多視点インタラクティブベース拡散世界モデル A2World を事前学習。 - 学習されたダイナミクス事前分布を、シミュレータ中心とポリシー中心の2つの視点から検証。

2. 先行研究と比べてどこがすごい?

- 外観レベルのビデオ生成を超え、再利用可能なインタラクションダイナミクスを捉える点が特徴。 - 従来のビデオ生成モデルと比べ、アクション条件付きでロボット学習に転移可能な事前分布を提供。 - 同一の事前学習重みから、シミュレータ適応とポリシー適応の両方を実現できる点が新しい。

3. 技術・手法の肝は?

- 大規模ロボット操作データと実アクション注釈を用いて、多視点インタラクティブベース拡散世界モデル A2World を事前学習。 - A2World をタスク/シーン特化の実世界シミュレータ A2World-sim に適応。 - 同じ事前学習重みから、視覚と言語指示に条件付けられたビデオ・アクション同時予測モデル A2World-policy に適応。

4. どうやって有効だと検証した?

- シミュレーションベンチマークと実ロボット設定での実験を実施。 - A2World-sim の長期的ロールアウトが、実ロボットロールアウトの代替としてシミュレータベースのポリシー評価とスケーラブルな what-if 分析を支援することを検証。 - A2World-policy が視覚と言語指示に条件付けられたアクション予測を行うことを検証。

5. 議論はある?

- アクション条件付き世界モデル事前学習が、シミュレータ中心とポリシー中心の両方のロボット学習に利益をもたらす転移可能なダイナミクス事前分布を生み出すことを示唆。 - 具体的な限界や課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の関連手法として、action-conditioned video generation、diffusion world models、robot manipulation の世界モデル研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ze Huang, Jiahui Zhang, Hairuo Liu, Chenxi Zhang, Ran Cheng, Li Zhang

分類: cs.RO

原文アブストラクト

We study action-conditioned world modeling as a scalable way to learn transferable dynamics priors for robot learning. By pretraining a model to predict how actions drive visual scene evolution, the resulting world model captures reusable interaction dynamics beyond appearance-level video generation. Concretely, we pretrain a multi-view interactive base diffusion world model, A2World, on large-scale robot manipulation data with real action annotations. We validate the learned dynamics priors from two complementary perspectives. First, we adapt A2World into a task- or scene-specialized real-world simulator, A2World-sim, whose long-horizon rollouts support simulator-based policy evaluation and scalable what-if analysis by replacing real-robot rollouts with world model rollouts. Second, starting from the same pretrained weights, we adapt A2World into a video-action joint prediction model, A2World-policy, that predicts actions under visual and instruction conditioning. Experiments across simulation benchmarks and real-robot settings demonstrate that action-conditioned world model pretraining yields transferable dynamics priors that benefit both simulator-centric and policy-centric robot learning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI