日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/計画arXiv:2607.27599

ワールドアクションプランナー:行動条件付きワールドモデルによる汎用意思決定

World Action Planner: Generalizable Decision-Making with Action-Conditioned World Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルとマルチタスクのポーズ画像条件付きワールドモデルを組み合わせ、初期行動計画を提案し、想像上のロールアウトを最適化・探索で反復改良するロボット計画システムを提案。構成タスクや新規レイアウト、ゼロショット汎化で既存のVLAやWAMを上回る性能を示した。

詳しい要約

1. どんなもの?

World Action Plannerは、Vision-Language Models (VLMs)の推論能力と、multi-task pose-image conditioned world modelの物理的基盤を活用したロボット計画システム。エージェントが初期行動計画を提案し、想像上のworld modelロールアウトを推論しながら最適化と探索で反復的に洗練する。

2. 先行研究と比べてどこがすごい?

模倣学習ベースのポリシーは特定の訓練環境では成功するが、新しいシーンやタスクへの一般化に失敗する。World Action Plannerは、VLMsの推論とworld modelの物理的基盤を組み合わせることで、構成タスク、新しいレイアウト、zero-shot一般化シナリオで優れた性能を達成し、VLAやWAMなどの最先端のend-to-endポリシーモデルを大幅に上回る。

3. 技術・手法の肝は?

手法の肝は、VLMsによる初期行動計画の提案と、multi-task pose-image conditioned world modelによるロールアウトの予測。エージェントはworld modelのロールアウトを推論し、最適化と探索を用いて計画を反復的に洗練する。これにより、物理的な実現可能性を考慮しつつ、タスクの構成や新しい環境への適応を可能にする。

4. どうやって有効だと検証した?

構成タスク、新しいレイアウト、zero-shot一般化シナリオを含む多様な環境で評価し、VLAやWAMなどのstate-of-the-artなend-to-endポリシーモデルと比較して、優れた性能を達成したことを示した。具体的な評価指標やデータセットは要旨からは不明。

5. 議論はある?

要旨からは、提案手法が一般化に優れる一方で、計算コストや実世界での適用可能性、world modelの精度への依存などが議論の余地として考えられるが、具体的な議論は要旨に記載されていない。

6. 次に読むべき論文は?

要旨で参照されている関連手法として、Vision-Language Models (VLMs)、Vision-Language-Action models (VLAs)、World Action Models (WAMs)が挙げられる。次に読むべき論文は、これらの基盤となる研究や、world modelを用いた計画手法の詳細を扱った論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiangcheng Zhang, Yilun Du

分類: cs.AI, cs.RO

原文アブストラクト

Building generalizable agents for diverse applications remains a fundamental challenge. While imitation learning-based policies succeed in specific training environments, they often fail to generalize to novel scenes and tasks. In this work, we propose World Action Planner, a robot planning system that leverages the reasoning capabilities of Vision-Language Models (VLMs) and the physical grounding of a multi-task pose-image conditioned world model. Our system enables an agent to propose initial action plans and iteratively refine them via optimization and search, reasoning over imagined world model rollouts. We demonstrate that our approach achieves superior performance across compositional tasks, new layouts, and zero-shot generalization scenarios, significantly outperforming state-of-the-art end-to-end policy models such as VLAs and WAMs. Project website at worldactionplanner.github.io

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI