日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/構造化ポリシーarXiv:2604.02812

合成ニューロシンボリック監視による視覚言語モデルからの構造化ロボットポリシー学習

Learning Structured Robot Policies from Vision-Language Models via Synthetic Neuro-Symbolic Supervision

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルを用いて、視覚観察と自然言語指示から実行可能なビヘイビアツリーポリシーを自動生成するニューロシンボリック手法を提案し、合成データのみで学習したモデルが実ロボットで動作することを示した。

詳しい要約

1. どんなもの?

- Vision-Language Models (VLMs) を用いて、ロボットの構造化ポリシーを生成する neuro-symbolic アプローチを提案。 - VLM が視覚観測、自然言語指示、構造化システム仕様から実行可能な Behavior Tree (BT) ポリシーを合成する。 - 手動アノテーションなしでスケーラブルな教師信号を生成する自動パイプラインを導入し、ドメインランダム化されたシーンと指示-ポリシー例の合成マルチモーダルデータセットを生成。 - 12B パラメータモデルが in-silico 監督のみで構造化空間-記号マッピングを学習し、実世界の異種ロボットマニピュレータ2台でゼロショット転移を確認。

2. 先行研究と比べてどこがすごい?

- 従来の end-to-end visuomotor ポリシーは不透明で分析が困難。 - 古典的ロボットシステムは構造化ポリシー表現で解釈性、モジュール性、反応的実行を提供。 - 本研究は foundation models を特殊化して構造化ロボットポリシーを生成し、高次元学習と記号制御を橋渡し。 - 手動アノテーション不要の合成データ生成により、ロボット計画におけるデータボトルネックを回避できることを示した。

3. 技術・手法の肝は?

- VLM が視覚観測、自然言語指示、構造化システム仕様から実行可能な Behavior Tree ポリシーを合成する neuro-symbolic アプローチ。 - 制約付き記号文法下での構造化タスク分解とハードウェア固有のモータ制御を分離。 - ドメインランダム化されたシーンと foundation model が生成した指示-ポリシー例をペアにした合成マルチモーダルデータセットを自動生成するパイプライン。 - 12B パラメータモデルが in-silico 監督のみで構造化空間-記号マッピングを学習。

4. どうやって有効だと検証した?

- 2台の異種ロボットマニピュレータを用いた実世界物理実験を実施。 - 構造的に制約されたポリシーが実世界環境へのゼロショット転移を達成することを確認。 - 結果として、手続き的に合成された高忠実度 neuro-symbolic 訓練データによりロボット計画のデータボトルネックを回避できることを強調。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。同分野の定番として Behavior Tree、Vision-Language Models (VLMs)、neuro-symbolic アプローチ、end-to-end visuomotor ポリシー、foundation models が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Alessandro Adami, Tommaso Tubaldo, Marco Todescato, Ruggero Carli, Pietro Falco

分類: cs.RO

原文アブストラクト

Vision-Language Models (VLMs) have recently demonstrated strong capabilities in mapping multimodal observations to robot behaviors. However, most current approaches rely on end-to-end visuomotor policies that remain opaque and difficult to analyze, limiting their use in real-world robotic applications. In contrast, classical robotic systems often rely on structured policy representations that provide interpretability, modularity, and reactive execution. This work investigates how foundation models can be specialized to generate structured robot policies grounded in multimodal perception, bridging high-dimensional learning and symbolic control. We propose a neuro-symbolic approach in which a VLM synthesizes executable Behavior Tree policies from visual observations, natural language instructions, and structured system specifications. To enable scalable supervision without manual annotation, we introduce an automated pipeline that generates a synthetic multimodal dataset of domain-randomized scenes paired with instruction-policy examples produced by a foundation model. By decoupling structured task decomposition under constrained symbolic grammars from hardware-specific motor control, we demonstrate that a 12B-parameter model can learn structured spatial-symbolic mappings required for executable BT synthesis, solely through in-silico supervision. Real-world physical experiments on two heterogeneous robotic manipulators confirm that these structurally constrained policies achieve zero-shot transfer to real-world environments. The results emphasize that the data bottleneck in robotic planning can be bypassed by procedurally synthesizing high-fidelity, neuro-symbolic training data.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI