日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

タスク計画arXiv:2603.06084

マルチモーダル行動木生成:ロボットタスク計画のための小型視覚言語モデル

Multimodal Behavior Tree Generation: A Small Vision-Language Model for Robot Task Planning

シェア:XThreadsFacebookLINEはてブBluesky

小型の視覚言語モデルを微調整し、視覚観察と指示から行動木を生成するロボットタスク計画手法を提案。大規模モデルを教師にしたデータセット構築とパラメータ効率的な微調整により、87%の成功率を達成。

詳しい要約

1. どんなもの?

- ロボットのタスク計画のために、視覚情報と指示からBehavior Treeを生成する小型のVision-Language Model (VLM) を提案。 - 既存のロボットエピソード(Open X-Embodiment)からデータセットを構築し、500M~4BパラメータのVLMをPEFTでファインチューニング。 - 生成されたBehavior TreeはBehaviorTree.CPPライブラリと互換。 - オフライン評価(構造・語彙指標)とオンライン評価(家庭タスクの実行)を実施。

2. 先行研究と比べてどこがすごい?

- 従来の言語モデルによるタスク計画とVLMによる視覚理解を組み合わせ、視覚観察と指示から直接Behavior Treeを生成する点が新しい。 - 既存のデータセットが存在しないため、大規模モデルを教師としてマルチステージ生成パイプラインでデータセットを構築。 - ファインチューニングされた4BパラメータのVLMは、最先端のクローズドソースモデルに迫る性能(成功率87%)を、はるかに少ない計算リソースで達成。

3. 技術・手法の肝は?

- 既存のロボットエピソード(Open X-Embodiment)を出発点とし、大規模モデルを教師としたマルチステージ生成パイプラインで、視覚観察と指示を実行可能なBehavior Treeに結びつけるデータセットを構築。 - このデータセットを用いて、500M~4BパラメータのVLMをパラメータ効率的ファインチューニング(PEFT)で微調整。 - 生成されたBehavior TreeはBehaviorTree.CPPライブラリと互換。

4. どうやって有効だと検証した?

- オフライン評価:構造的および語彙的指標を用いて生成されたBehavior Treeを評価。 - オンライン評価:最先端のEmbodied Simulatorで家庭タスクを実行し、成功率を測定。 - 結果:ファインチューニングされた4BパラメータのVLMが87%の成功率を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Open X-Embodiment(データセット) - BehaviorTree.CPP(ライブラリ) - 最先端のクローズドソースモデル(具体的名称は要旨に記載なし)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Cristiano Battistini, Riccardo Andrea Izzo, Gianluca Bardaro, Matteo Matteucci

分類: cs.RO

原文アブストラクト

Large and small language models have been widely used for robotic task planning. At the same time, vision-language models (VLMs) have successfully tackled problems such as image captioning, scene understanding, and visual question answering. In this work, we combine these two approaches by deploying a compact, open-source multimodal model to generate behavior trees for robotic task planning. The main obstacle to achieving this goal is the lack of an existing dataset that links visual observations and instructions to executable behavior trees. We propose a method to construct such a dataset starting from existing robotic episodes (i.e., Open X-Embodiment), in which a large model serves as a teacher in a multi-stage generation pipeline. We use this dataset to fine-tune VLMs ranging from 500M to 4B parameters via parameter-efficient fine-tuning (PEFT). The generated behavior trees, compatible with the BehaviorTree.CPP library, are evaluated both offline, using structural and lexical metrics, and online through the execution of household tasks in a state-of-the-art embodied simulator. Our results demonstrate that our fine-tuned 4B-parameter VLM approaches the performance of state-of-the-art closed-source models, achieving an 87\% success rate while requiring only a fraction of the computational resources.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI