日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.20097

PSALM-V: 大規模言語モデルによる対話型視覚環境での記号計画の自動化

PSALM-V: Automating Symbolic Planning in Interactive Visual Environments with Large Language Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚環境での試行錯誤を通じて行動の事前・事後条件を自動学習し、LLMで記号計画を立案するシステムを提案。部分的観測下でも計画成功率を37%から74%に向上させた。

詳しい要約

1. どんなもの?

- 視覚環境との相互作用を通じて記号的行動意味論(pre-conditions と post-conditions)を帰納する、初の自律的 neuro-symbolic 学習システム PSALM-V の提案。 - 専門家による行動定義なしで、LLM を用いて heuristic plans と候補となる記号意味論を生成し、信頼できる symbolic planning をブートストラップする。 - 対象は ALFRED、RTFM、Overcooked-AI、実世界ロボット BlocksWorld タスク。

2. 先行研究と比べてどこがすごい?

- 従来の LLM による PDDL ベース symbolic planner 向け行動意味論生成は、主に text-based ドメインや、事前定義された problem file、完全観測、明示的エラーメッセージといった非現実的仮定に依存していた。 - PSALM-V は動的に PDDL problem file とドメイン行動意味論を推論し、実行結果の分析とエラー説明の合成を行う点で異なる。 - 部分的観測の ALFRED で plan success rate を 37%(Claude-3.7)から 74% へ向上。

3. 技術・手法の肝は?

- LLM が heuristic plans と候補となる記号的行動意味論(pre-/post-conditions)を生成。 - 実行結果を分析し、可能なエラー説明を合成することで PDDL problem file と行動意味論を動的に推論。 - 各行動について可能な意味論に対する tree-structured belief を維持し、計画の生成・実行を反復しながら belief を洗練させ、goal state 到達まで続ける。

4. どうやって有効だと検証した?

- ALFRED でのタスク完了シミュレーション実験により、部分的観測設定で plan success rate が 37%(Claude-3.7)から 74% に向上することを示した。 - 2D ゲーム環境 RTFM と Overcooked-AI で step efficiency の改善と multi-agent 設定での domain induction 成功を示した。 - 実世界ロボット BlocksWorld タスクで、ロボットの低レベル manipulation 失敗があるにもかかわらず PDDL pre-/post-conditions を正しく帰納した。

5. 議論はある?

- 実世界ロボット BlocksWorld では低レベル manipulation の失敗が生じることが報告されている。 - 部分的観測や multi-agent 設定への適用可能性が示唆されるが、要旨からは不明な点も多い。 - 限界や失敗事例の詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として挙げられている LLM による PDDL 向け行動意味論生成の先行研究(具体的な論文名は要旨からは不明)。 - 評価環境として用いられた ALFRED、RTFM、Overcooked-AI 関連の研究。 - 関連手法として PDDL、symbolic planning、neuro-symbolic learning の定番研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wang Bill Zhu, Miaosen Chai, Ishika Singh, Robin Jia, Jesse Thomason

分類: cs.RO, cs.CL

原文アブストラクト

We propose PSALM-V, the first autonomous neuro-symbolic learning system able to induce symbolic action semantics (i.e., pre- and post-conditions) in visual environments through interaction. PSALM-V bootstraps reliable symbolic planning without expert action definitions, using LLMs to generate heuristic plans and candidate symbolic semantics. Previous work has explored using large language models to generate action semantics for Planning Domain Definition Language (PDDL)-based symbolic planners. However, these approaches have primarily focused on text-based domains or relied on unrealistic assumptions, such as access to a predefined problem file, full observability, or explicit error messages. By contrast, PSALM-V dynamically infers PDDL problem files and domain action semantics by analyzing execution outcomes and synthesizing possible error explanations. The system iteratively generates and executes plans while maintaining a tree-structured belief over possible action semantics for each action, iteratively refining these beliefs until a goal state is reached. Simulated experiments of task completion in ALFRED demonstrate that PSALM-V increases the plan success rate from 37% (Claude-3.7) to 74% in partially observed setups. Results on two 2D game environments, RTFM and Overcooked-AI, show that PSALM-V improves step efficiency and succeeds in domain induction in multi-agent settings. PSALM-V correctly induces PDDL pre- and post-conditions for real-world robot BlocksWorld tasks, despite low-level manipulation failures from the robot.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI