日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

プランニングarXiv:2606.06832

STRIPS-WM: 画像から接地された命題的STRIPS型世界モデルを学習する

STRIPS-WM: Learning Grounded Propositional STRIPS-style World Models from Images

シェア:XThreadsFacebookLINEはてブBluesky

ロボットが画像遷移のみから、行動の適用条件と効果を表すシンボリックな世界モデルを学習し、新しい開始・目標画像から古典的プランニングを可能にするフレームワークを提案した。

詳しい要約

1. どんなもの?

- 画像遷移からSTRIPS-style world modelを学習するフレームワーク - 入力は現在画像・高レベル行動・結果画像のみ - テスト時は開始画像と目標画像から高レベル行動列を生成 - 有限の抽象遷移グラフを誘導し、潜在二値述語とgrounded propositional operatorを学習 - 学習したoperatorはsparse preconditionsとadd/delete effectsを持つ - 述語をvisual encoderに蒸留し、新規画像から古典的planningを可能にする

2. 先行研究と比べてどこがすごい?

- 従来のvisual rollout、latent graph-search、latent-symbolicベースラインと比較 - 画像から直接STRIPS-styleの記号的行動モデルを学習する点が新しい - 行動適用可能性と効果を保持しつつ、無関係な視覚詳細を捨てる表現を実現 - 画像からplanningする際の成功率を改善

3. 技術・手法の肝は?

- 画像遷移から有限の抽象遷移グラフを誘導 - 潜在二値述語と行動ラベルごとのgrounded propositional operatorを学習 - operatorはsparse preconditionsとadd/delete effectsからなる記号的行動モデル - 学習した述語をvisual encoderに蒸留 - 蒸留により新規の開始・目標画像から古典的planningを直接実行

4. どうやって有効だと検証した?

- visual rearrangementタスクで実験 - 画像からplanを生成する成功率を評価 - visual rollout、latent graph-search、latent-symbolicベースラインと比較 - STRIPS-WMが成功率を改善することを示した

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- visual rolloutベースライン - latent graph-searchベースライン - latent-symbolicベースライン - 古典的task planning(STRIPS/PDDL) - visual rearrangementタスク

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Abhiroop Ajith, Constantinos Chamzas

分類: cs.RO

原文アブストラクト

Robots performing long-horizon visual manipulation observe high-dimensional images, but successful plans depend on action-relevant facts: what can be done now and what changes afterward. A useful planning representation should discard irrelevant visual details while preserving action applicability and effects. Classical task planners exploit this structure through symbolic operators with preconditions and effects, but obtaining such representations from raw visual experience remains challenging. We study a visual task-planning setting in which a robot receives only image transitions: the current image, executed high-level action, and the resulting image. At test time, given a start image and a goal image, the robot must produce a sequence of high-level actions that reaches the goal. To address this problem, we introduce STRIPS-WM, a framework for learning image-grounded STRIPS-style world models directly from visual transitions. STRIPS-WM first induces a finite abstract transition graph from images, then learns latent binary predicates and one grounded propositional operator per action label. The learned operators form a symbolic action model with sparse preconditions and add/delete effects. Finally, the learned predicates are distilled into a visual encoder, enabling classical planning directly from novel start and goal images. Experiments on visual rearrangement tasks show that STRIPS-WM improves image-to-plan success over the tested visual rollout, latent graph-search and latent-symbolic baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI