日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2606.08775

オブジェクト中心の世界モデルと拡散ポリシーの統合:多段階ロボットタスクのための階層的フレームワーク

Unifying Object-Centric World Models and Diffusion Policy: A Hierarchical Framework for Multi-Stage Robotic Tasks

シェア:XThreadsFacebookLINEはてブBluesky

多段階のロボット操作タスクを解決するため、高レベル世界モデルで実行時に実現可能なサブゴールを計画し、低レベル拡散ポリシーで実行する階層的フレームワークWorldDPを提案した。

詳しい要約

1. どんなもの?

- 多段階ロボットマニピュレーションのためのWorldDPフレームワーク - 高レベルworld modelを遷移関数としてサブゴールを最適化 - 低レベルDiffusion Policyでサブゴールを達成 - object-centric表現で環境を分離し計画を支援

2. 先行研究と比べてどこがすごい?

- 従来のworld model+MPCは単段階タスク(reaching, grasping)に限定 - 多段階の逐次計画を要するタスクに苦戦 - WorldDPは階層的アプローチで多段階タスクを実現 - 複数ベンチマークで既存ベースラインを一貫して上回る

3. 技術・手法の肝は?

- 高レベルworld modelを遷移関数として実行時にサブゴールを最適化 - 低レベルDiffusion Policyがサブゴールを達成 - object-centric表現で環境エンティティを分離 - 各エンティティに対して逐次計画を可能に

4. どうやって有効だと検証した?

- 複数のロボティクスベンチマークで評価 - 既存ベースラインと比較し一貫して優位 - world modelの物理的計画とDiffusion Policyの効率的実行の結合が多段階性能を向上させることを検証

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてModel Predictive Control (MPC), Diffusion Policy, object-centric world modelsが挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Raktim Gautam Goswami, Prashanth Krishnamurthy, Yann LeCun, Farshad Khorrami

分類: cs.RO, cs.AI

原文アブストラクト

Visual world models have shown great potential in learning complex system dynamics. Recent advancements leverage these models as transition functions within Model Predictive Control (MPC) frameworks to solve various control tasks. When applied to robotics, however, they are limited to single-stage tasks such as reaching or grasping, and struggle with multi-stage ones that demand complex sequential planning. In this work, we introduce WorldDP, a world model framework designed for multi-stage robotic manipulation. Our hierarchical approach utilizes a high-level world model as a transition function to optimize for feasible subgoals during runtime, which are subsequently reached by a low-level Diffusion Policy. To further aid in learning dynamics and planning, we incorporate object-centric representations that decouple environmental entities and enable us to plan sequentially with respect to each. Evaluated across several robotics benchmarks, WorldDP consistently outperforms existing baselines, validating that coupling the world model's physically grounded planning with diffusion policy's efficient execution yields superior multi-stage performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI