日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.11261

Gondola: 汎用ロボット操作のための接地視覚言語プランニング

Gondola: Grounded Vision Language Planning for Generalizable Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

多視点画像と履歴プランから、対象物と位置のセグメンテーションマスクを伴う次行動プランを生成するLLMベースのモデルを提案し、GemBenchで汎化性能を向上させた。

詳しい要約

1. どんなもの?

- ロボット操作のための grounded vision-language planning モデル「Gondola」 - LLM を基盤とし、多視点画像と履歴計画を入力に取る - 出力はテキストと対象物体・位置の segmentation mask が交互に並ぶ次行動計画 - 目的は未見の物体・環境・多様な言語指示への汎化 - RLBench simulator 上で構築した3種のデータセットで学習

2. 先行研究と比べてどこがすごい?

- 近年の LLM を用いた計画・行動実行手法は視覚環境での grounded plan 生成が不十分 - 既存の visual instructional tuning 手法は単一視点画像入力に制約され、精密な object grounding が困難 - Gondola は多視点画像と履歴計画を扱い、テキストと segmentation mask を交互生成 - GemBench の4つの汎化レベル全てで state-of-the-art の LLM-based 手法を上回る

3. 技術・手法の肝は?

- LLM ベースの grounded vision-language planning モデル - 入力: 多視点画像 + 履歴計画 - 出力: テキストと対象物体・位置の segmentation mask を交互に含む次行動計画 - 学習データ: RLBench simulator を用いて3種を構築 - robot grounded planning データセット - multi-view referring expression データセット - pseudo long-horizon task データセット

4. どうやって有効だと検証した?

- GemBench データセットの4つの汎化レベルで評価 - novel placements - rigid objects - articulated objects - long-horizon tasks - 全4レベルで state-of-the-art の LLM-based 手法を上回った - 具体的な評価指標・実験設定の詳細は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 明示されているのは GemBench 4レベルでの優位性と、多視点・mask 付き計画の有効性 - 限界や失敗事例、計算コスト等の議論は要旨に記載なし

6. 次に読むべき論文は?

- 要旨で比較対象として言及される state-of-the-art の LLM-based 手法(具体的名称は要旨からは不明) - visual instructional tuning を用いた LLM ベースのロボット操作研究 - GemBench ベンチマーク関連論文 - RLBench simulator を用いた関連研究 - 同分野の定番として vision-language-action モデルや LLM planner 関連の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shizhe Chen, Ricardo Garcia, Paul Pacaud, Cordelia Schmid

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Robotic manipulation faces a significant challenge in generalizing across unseen objects, environments and tasks specified by diverse language instructions. To improve generalization capabilities, recent research has incorporated large language models (LLMs) for planning and action execution. While promising, these methods often fall short in generating grounded plans in visual environments. Although efforts have been made to perform visual instructional tuning on LLMs for robotic manipulation, existing methods are typically constrained by single-view image input and struggle with precise object grounding. In this work, we introduce Gondola, a novel grounded vision-language planning model based on LLMs for generalizable robotic manipulation. Gondola takes multi-view images and history plans to produce the next action plan with interleaved texts and segmentation masks of target objects and locations. To support the training of Gondola, we construct three types of datasets using the RLBench simulator, namely robot grounded planning, multi-view referring expression and pseudo long-horizon task datasets. Gondola outperforms the state-of-the-art LLM-based method across all four generalization levels of the GemBench dataset, including novel placements, rigid objects, articulated objects and long-horizon tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI