日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2603.08546

ロボット政策の訓練と評価のためのインタラクティブ世界シミュレータ

Interactive World Simulator for Robot Policy Training and Evaluation

シェア:XThreadsFacebookLINEはてブBluesky

一貫性モデルを用いて高速かつ安定なインタラクティブ世界モデルを構築し、ロボット政策の訓練と評価を可能にするフレームワークを提案。世界モデル内で収集したデータで訓練した政策が実世界データと同等の性能を示し、シミュレーションと実世界の性能に強い相関があることを実証。

詳しい要約

1. どんなもの?

- ロボット政策の訓練と評価のためのInteractive World Simulatorを提案。 - 中規模のロボット相互作用データセットからインタラクティブなworld modelを構築。 - 画像デコードと潜在空間ダイナミクス予測にconsistency modelsを活用。 - 物理的に一貫した長期的相互作用を高速かつ安定にシミュレーション可能。 - 単一のRTX 4090 GPU上で15 FPS、10分以上の長期的相互作用を実現。 - world model内でのデモンストレーション収集により、模倣政策を訓練可能。

2. 先行研究と比べてどこがすごい?

- 既存のaction-conditioned video predictionモデルは遅く、長期的な物理的一貫性に欠ける。 - 提案手法はconsistency modelsにより高速かつ安定なシミュレーションを実現。 - 長期的相互作用を10分以上15 FPSで維持できる点が優れている。 - world model生成データで訓練した政策が実世界データと同等の性能を発揮。 - シミュレーションと実世界の性能間に強い相関を確認。

3. 技術・手法の肝は?

- consistency modelsを画像デコードと潜在空間ダイナミクス予測の両方に適用。 - 中規模のロボット相互作用データセットからworld modelを学習。 - アクション条件付きビデオ予測モデルを基盤とする。 - 潜在空間での予測により高速化と安定性を実現。 - 長期的な物理的一貫性を維持する設計。

4. どうやって有効だと検証した?

- 多様なタスク(剛体、変形可能物体、物体の山、それらの相互作用)で実世界評価を実施。 - world model生成データで訓練した政策が実世界データと同等の性能を示すことを確認。 - world model内と実世界の両方で政策を評価し、性能間に強い相関を観察。 - 長期的相互作用の安定性を10分以上15 FPSで検証。

5. 議論はある?

- 提案フレームワークはスケーラブルなロボットデータ生成と再現可能な政策評価のための安定かつ物理的に一貫した代替手段を提供。 - シミュレーションと実世界の性能相関が強いことを示す。 - 限界や課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてaction-conditioned video prediction models、world models、consistency modelsが挙げられる。 - 同分野の定番としてimitation learning、robot policy training、sim-to-real transferに関する論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yixuan Wang, Rhythm Syed, Fangyu Wu, Mengchao Zhang, Aykut Onol, Jose Barreiros, Hooshang Nayyeri, Tony Dear, Huan Zhang, Yunzhu Li

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Action-conditioned video prediction models (often referred to as world models) have shown strong potential for robotics applications, but existing approaches are often slow and struggle to capture physically consistent interactions over long horizons, limiting their usefulness for scalable robot policy training and evaluation. We present Interactive World Simulator, a framework for building interactive world models from a moderate-sized robot interaction dataset. Our approach leverages consistency models for both image decoding and latent-space dynamics prediction, enabling fast and stable simulation of physical interactions. In our experiments, the learned world models produce interaction-consistent pixel-level predictions and support stable long-horizon interactions for more than 10 minutes at 15 FPS on a single RTX 4090 GPU. Our framework enables scalable demonstration collection solely within the world models to train state-of-the-art imitation policies. Through extensive real-world evaluation across diverse tasks involving rigid objects, deformable objects, object piles, and their interactions, we find that policies trained on world-model-generated data perform comparably to those trained on the same amount of real-world data. Additionally, we evaluate policies both within the world models and in the real world across diverse tasks, and observe a strong correlation between simulated and real-world performance. Together, these results establish the Interactive World Simulator as a stable and physically consistent surrogate for scalable robotic data generation and faithful, reproducible policy evaluation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI