日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.11528

LaDi-WM: 予測的マニピュレーションのための潜在拡散ベース世界モデル

LaDi-WM: A Latent Diffusion-based World Model for Predictive Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済み視覚基盤モデルの潜在空間を拡散モデルで予測する世界モデルを提案し、予測状態を活用した拡散ポリシーによりマニピュレーション性能を大幅に向上させた。

詳しい要約

1. どんなもの?

- LaDi-WM は、ロボットの predictive manipulation 向けに提案された world model。 - 未来の状態を pixel-level 画像ではなく、事前学習済み Visual Foundation Models (VFMs) に整合した latent space 上で予測する。 - 予測状態を活用する diffusion policy も併せて設計。 - 対象は robot-object interactions の将来状態予測と、それに基づく行動生成。

2. 先行研究と比べてどこがすごい?

- 従来の world model は将来の視覚状態を pixel-level で高品質に生成するのが難課題だった。 - 本研究は pixel 画像の直接予測ではなく latent space の進化予測を行う点が特徴。 - latent 予測は学習しやすく汎化しやすいと報告。 - 予測状態を diffusion policy に組み込み、行動を反復的に洗練する枠組みを提案。 - 具体的な先行研究名との比較は要旨からは不明。

3. 技術・手法の肝は?

- 事前学習済み VFMs に整合した latent space を利用。 - 幾何特徴: DINO-based features - 意味特徴: CLIP-based features - diffusion modeling により未来状態の latent space を予測する world model を構築。 - LaDi-WM の予測状態を入力とし、出力行動を反復的に洗練する diffusion policy を設計。 - 予測状態の組み込みにより、より一貫性が高く正確な行動生成を狙う。

4. どうやって有効だと検証した?

- synthetic と real-world の両ベンチマークで実験。 - LIBERO-LONG benchmark で policy performance が 27.9% 向上。 - real-world scenario で 20% 向上。 - real-world 実験で world model と policies の高い generalizability を示したと報告。

5. 議論はある?

- 要旨では pixel-level 予測より latent 予測が学習・汎化に有利である点を主張。 - 予測状態を diffusion policy に統合することで性能向上と一貫性改善を報告。 - 限界や失敗ケース、計算コスト、latent 設計の詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別論文は不明。 - 関連手法として以下が挙げられる。 - DINO-based features - CLIP-based features - diffusion policy - world model - LIBERO-LONG benchmark - 次に読む候補は、これら VFMs や diffusion policy、predictive manipulation の代表的文献。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhang Huang, Jiazhao Zhang, Shilong Zou, Xinwang Liu, Ruizhen Hu, Kai Xu

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Predictive manipulation has recently gained considerable attention in the Embodied AI community due to its potential to improve robot policy performance by leveraging predicted states. However, generating accurate future visual states of robot-object interactions from world models remains a well-known challenge, particularly in achieving high-quality pixel-level representations. To this end, we propose LaDi-WM, a world model that predicts the latent space of future states using diffusion modeling. Specifically, LaDi-WM leverages the well-established latent space aligned with pre-trained Visual Foundation Models (VFMs), which comprises both geometric features (DINO-based) and semantic features (CLIP-based). We find that predicting the evolution of the latent space is easier to learn and more generalizable than directly predicting pixel-level images. Building on LaDi-WM, we design a diffusion policy that iteratively refines output actions by incorporating forecasted states, thereby generating more consistent and accurate results. Extensive experiments on both synthetic and real-world benchmarks demonstrate that LaDi-WM significantly enhances policy performance by 27.9\% on the LIBERO-LONG benchmark and 20\% on the real-world scenario. Furthermore, our world model and policies achieve impressive generalizability in real-world experiments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI