日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.05020

空中・地上ロボットシステムにおける意味的ナビゲーションとマニピュレーションのための階層的言語モデル

Hierarchical Language Models for Semantic Navigation and Manipulation in an Aerial-Ground Robotic System

シェア:XThreadsFacebookLINEはてブBluesky

LLMによる階層的タスク分解とVLMによる意味的知覚を統合し、空中ロボットが地上ロボットを誘導して長期的な物体配置タスクをゼロショットで遂行する異種協調システムを提案。

詳しい要約

1. どんなもの?

- 異種マルチロボット(aerial robot と ground robot)による協調システムのための階層型マルチモーダルフレームワーク - prompted LLM と fine-tuned VLM を統合 - 長期的な物体配置タスク(long-horizon object arrangement)を対象 - 空中ロボットが global semantic map を構築し、地上ロボットの局所ナビゲーションと操作を誘導

2. 先行研究と比べてどこがすごい?

- 既存手法は static または task-specific なモデルに依存し、多様なタスクや動的環境への汎化性が乏しい - 本手法は LLM による高レベル推論と VLM による低レベル実行を橋渡しする汎化可能な知能を目指す - 著者らの知る限り、VLM ベースの知覚と LLM 駆動の推論を統合した初の異種 aerial-ground ロボットシステム - zero-shot 適応性を実証

3. 技術・手法の肝は?

- 階層型マルチモーダル構成 - LLM(prompted)が階層的タスク分解と global semantic map の構築を担当 - VLM(fine-tuned)が意味的知覚と物体位置推定を担当 - 提案する GridMask が VLM の空間精度を向上させ、信頼性の高い fine-grained manipulation を実現 - aerial robot が global map から semantic path を生成し、ground robot の局所ナビゲーションと操作を誘導 - target-absent や ambiguous な状況でも堅牢な協調を実現

4. どうやって有効だと検証した?

- 広範な simulation と real-world experiments を実施 - 長期的な物体配置タスク(long-horizon object arrangement)で評価 - zero-shot 適応性、堅牢な semantic navigation、動的環境での信頼性の高い manipulation を実証

5. 議論はある?

- 要旨からは不明(具体的な限界や議論の詳細は記述されていない)

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として prompted LLM、fine-tuned VLM、GridMask、global semantic map 構築、semantic navigation に関する研究が次に読む候補 - 同分野の定番として heterogeneous multirobot systems、vision-language navigation、LLM-based task planning の文献

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haokun Liu, Zhaoqi Ma, Yunong Li, Junichiro Sugihara, Yicheng Chen, Jinjie Li, Moju Zhao

分類: cs.RO, cs.AI

原文アブストラクト

Heterogeneous multirobot systems show great potential in complex tasks requiring coordinated hybrid cooperation. However, existing methods that rely on static or task-specific models often lack generalizability across diverse tasks and dynamic environments. This highlights the need for generalizable intelligence that can bridge high-level reasoning with low-level execution across heterogeneous agents. To address this, we propose a hierarchical multimodal framework that integrates a prompted large language model (LLM) with a fine-tuned vision-language model (VLM). At the system level, the LLM performs hierarchical task decomposition and constructs a global semantic map, while the VLM provides semantic perception and object localization, where the proposed GridMask significantly enhances the VLM's spatial accuracy for reliable fine-grained manipulation. The aerial robot leverages this global map to generate semantic paths and guide the ground robot's local navigation and manipulation, ensuring robust coordination even in target-absent or ambiguous scenarios. We validate the framework through extensive simulation and real-world experiments on long-horizon object arrangement tasks, demonstrating zero-shot adaptability, robust semantic navigation, and reliable manipulation in dynamic environments. To the best of our knowledge, this work presents the first heterogeneous aerial-ground robotic system that integrates VLM-based perception with LLM-driven reasoning for global high-level task planning and execution.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI