日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

計画/世界モデルarXiv:2604.03208

潜在世界モデルを用いた階層的計画

Hierarchical Planning with Latent World Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚世界モデルを複数の時間スケールで学習し、長期モデルの予測を短期モデルのサブゴールとして利用する階層的MPC手法を提案。実機操作やシミュレーションで長期的タスクの成功率を向上させた。

詳しい要約

1. どんなもの?

- 視覚ベースの world model 上で階層的 MPC を行う手法 HWM を提案。 - 複数の時間スケールの world model を共有 latent space で学習。 - 長期モデルの予測を latent matching で短期モデルの subgoal に使う。 - タスク固有 reward、skill learning、階層 policy を不要とする。 - 実機 Franka の pick-and-place やシミュレーションの push、maze navigation で評価。

2. 先行研究と比べてどこがすごい?

- 既存 world model planner は長期・多段タスクで予測誤差が蓄積し、探索が horizon に対して指数的。 - 従来の階層手法は階層 RL でタスク固有 policy に制御を amortize するか、古典的階層 MPC で低次元状態と既知 dynamics を仮定。 - HWM は視覚 world model 上で直接階層 MPC を行い、タスク固有 reward や skill learning、階層 policy を不要にする点が新しい。 - 長期探索を扱いやすくするため action encoder で primitive action chunk を latent macro-action に圧縮。 - 単一レベル計画と比べ実機 pick-and-place で 70% 対 0% の成功率、最大 3x 少ない計画計算量を報告。

3. 技術・手法の肝は?

- 共有 latent space 内で複数の時間スケールの world model を next-latent prediction のみで学習。 - 長期 horizon モデルの予測を latent matching により短期 horizon モデルの subgoal として与える。 - 階層的 MPC を視覚 world model 上で直接実行。 - action encoder を学習し、primitive action chunk を latent macro-action に圧縮して長期探索を tractable にする。 - タスク固有 reward、skill learning、階層 policy を使わない。

4. どうやって有効だと検証した?

- 実世界 Franka manipulation で単一 goal image からの pick-and-place を評価。 - 単一レベル計画の 0% に対し HWM は 70% 成功。 - シミュレーションの push manipulation と maze navigation で評価。 - 長期 horizon タスクで一貫した性能向上を示し、最大 3x 少ない計画計算量を報告。

5. 議論はある?

- 要旨からは不明。 - 限界、失敗事例、計算コストの詳細、latent matching の感度などは要旨に記載なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: hierarchical RL、classical hierarchical MPC、single-level planning。 - 関連手法として world model planners、latent world models、hierarchical model predictive control を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wancong Zhang, Basile Terver, Artem Zholus, Soham Chitnis, Harsh Sutaria, Mido Assran, Randall Balestriero, Amir Bar, Adrien Bardes, Yann LeCun, Nicolas Ballas

分類: cs.LG

原文アブストラクト

World models are a promising path to zero-shot embodied control through planning. However, existing world model planners struggle on long-horizon, multi-stage tasks: prediction errors compound and naive search is exponential in the planning horizon. Hierarchy mitigates both by decomposing tasks into shorter, tractable subproblems; yet prior hierarchical approaches either amortize control into task-specific policies (hierarchical RL) or assume low-dimensional states and known dynamics (classical hierarchical MPC). We present Hierarchical Planning with Latent World Models (HWM), an architecture and planning paradigm for hierarchical model predictive control (MPC) directly on visual world models trained solely via next-latent prediction. HWM learns world models at multiple temporal scales within a shared latent space, so predictions from the long-horizon model serve as subgoals for the short-horizon model via latent matching, without task-specific rewards, skill learning, or hierarchical policies. To keep long-horizon search tractable, HWM learns an action encoder that compresses primitive action chunks into latent macro-actions. On real-world Franka manipulation, HWM solves pick-and-place from a single goal image at 70% success vs. 0% for single-level planning. Across simulated push manipulation and maze navigation, HWM consistently improves performance on long-horizon tasks while requiring up to 3x less planning compute.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI