日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/操作arXiv:2604.22238

CodeGraphVLP: コードによる計画とセマンティックグラフ状態を組み合わせた非マルコフ型視覚言語行動モデル

CodeGraphVLP: Code-as-Planner Meets Semantic-Graph State for Non-Markovian Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

長期的なロボット操作タスクにおいて、セマンティックグラフ状態とコードベースのプランナーを組み合わせ、視覚言語行動モデルの実行を支援する階層的フレームワークを提案した。

詳しい要約

1. どんなもの?

- 非マルコフ的長距離タスクにおけるVLAモデルの問題を解決する階層的フレームワークCodeGraphVLPを提案。 - 永続的semantic-graph状態、実行可能なcode-based planner、progress-guided visual-language promptingを組み合わせる。 - 部分観測下でタスク関連エンティティと関係を維持し、subtask指示と関連オブジェクトを出力。 - clutter-suppressed observationsを構築し、VLA executorを重要証拠に集中させる。

2. 先行研究と比べてどこがすごい?

- 従来のVLAは最新観測で十分と仮定する短距離ポリシーで、非マルコフ的長距離タスクでは失敗。 - 提案手法はsemantic-graphとcode-based plannerで長距離タスクを実現。 - 強いVLAベースラインやhistory-enabled variantsよりタスク完了率を改善。 - VLM-in-the-loop planningより計画レイテンシを大幅に低減。

3. 技術・手法の肝は?

- 永続的semantic-graphが部分観測下でタスク関連エンティティと関係を維持。 - 合成されたplannerがsemantic-graph上で実行され、効率的な進捗チェックとsubtask指示・関連オブジェクトを出力。 - 出力を用いてclutter-suppressed observationsを構築し、VLA executorを重要証拠に集中。 - progress-guided visual-language promptingを統合。

4. どうやって有効だと検証した?

- 実世界の非マルコフ的タスクで評価。 - 強いVLAベースラインおよびhistory-enabled variantsと比較し、タスク完了率が向上。 - VLM-in-the-loop planningと比較し、計画レイテンシが大幅に低減。 - 各コンポーネントの寄与を確認する広範なablation studiesを実施。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:VLAベースライン、history-enabled variants、VLM-in-the-loop planning。 - 関連手法:semantic-graph、code-based planner、progress-guided visual-language prompting。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Khoa Vo, Sieu Tran, Taisei Hanyu, Yuki Ikebe, Duy Nguyen, Nghi D. Q. Bui, Minh Vu, Anthony Gunderman, Chase Rainwater, Anh Nguyen, Ngan Le

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models promise generalist robot manipulation, but are typically trained and deployed as short-horizon policies that assume the latest observation is sufficient for action reasoning. This assumption breaks in non-Markovian long-horizon tasks, where task-relevant evidence can be occluded or appear only earlier in the trajectory, and where clutter and distractors make fine-grained visual grounding brittle. We present CodeGraphVLP, a hierarchical framework that enables reliable long-horizon manipulation by combining a persistent semantic-graph state with an executable code-based planner and progress-guided visual-language prompting. The semantic-graph maintains task-relevant entities and relations under partial observability. The synthesized planner executes over this semantic-graph to perform efficient progress checks and outputs a subtask instruction together with subtask-relevant objects. We use these outputs to construct clutter-suppressed observations that focus the VLA executor on critical evidence. On real-world non-Markovian tasks, CodeGraphVLP improves task completion over strong VLA baselines and history-enabled variants while substantially lowering planning latency compared to VLM-in-the-loop planning. We also conduct extensive ablation studies to confirm the contributions of each component.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI