マルチロボット・タスク計画2025/6/1arXiv:2506.07454

言語に基づく階層的計画と実行：マルチロボット3Dシーングラフの活用

Language-Grounded Hierarchical Planning and Execution with Multi-Robot 3D Scene Graphs

複数のロボットが共有する3Dシーングラフと大規模言語モデルを組み合わせ、自然言語の指示を解釈して屋外環境で複雑なタスクを計画・実行するシステムを開発した。

詳しい要約

1. どんなもの？

- 複数ロボットシステムの提案 - 3D scene graphを統合し、mapping・localization・task and motion planning (TAMP)を実現 - 自然言語で表現された複雑な指示を実行 - 共有3D scene graphの構築 - open-set object-based mapを含む - マルチロボットでの3D scene graph fusionに活用 - リアルタイムで視点不変のrelocalizationと計画をサポート - object-based map経由のrelocalization - 3D scene graph経由の計画 - ロボットチームが周囲を推論し複雑なタスクを実行可能

2. 先行研究と比べてどこがすごい？

- 先行研究との具体的比較は要旨からは不明 - マルチロボットシステムと3D scene graphの統合が特徴 - mapping, localization, TAMPを一貫して実現 - open-set object-based mapを共有3D scene graphに組み込み - マルチロボットfusionとview-invariant relocalizationを可能に - LLMを活用した計画手法を導入 - 共有3D scene graphとロボット能力の文脈を利用してPDDLゴールを生成

3. 技術・手法の肝は？

- 共有3D scene graphの構築 - open-set object-based mapを基盤 - マルチロボット3D scene graph fusionを実施 - リアルタイムview-invariant relocalization - object-based mapを利用 - 計画手法 - 共有3D scene graphとロボット能力の文脈をLLMに入力 - オペレータの意図をPDDLゴールに変換 - TAMPによる実行 - 3D scene graphを介した計画

4. どうやって有効だと検証した？

- 実世界の大規模屋外環境でのタスクで性能評価を実施 - 補足ビデオあり: https://youtu.be/8xbGGOLfLAY - 具体的な評価指標やベースラインとの比較は要旨からは不明

5. 議論はある？

- 議論の詳細は要旨からは不明 - システムの限界や課題についての記述なし - 実世界大規模屋外環境での評価を実施した点が示唆される

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない - 関連手法として以下が考えられる（一般名） - 3D scene graphを用いたロボティクス研究 - open-set object-based mapping - マルチロボットSLAMとrelocalization - LLMを用いたPDDL生成やタスク計画 - task and motion planning (TAMP)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jared Strader, Aaron Ray, Jacob Arkin, Mason B. Peterson, Yun Chang, Nathan Hughes, Christopher Bradley, Yi Xuan Jia, Carlos Nieto-Granda, Rajat Talak, Chuchu Fan, Luca Carlone, Jonathan P. How, Nicholas Roy

分類: cs.RO, cs.AI

原文アブストラクト

In this paper, we introduce a multi-robot system that integrates mapping, localization, and task and motion planning (TAMP) enabled by 3D scene graphs to execute complex instructions expressed in natural language. Our system builds a shared 3D scene graph incorporating an open-set object-based map, which is leveraged for multi-robot 3D scene graph fusion. This representation supports real-time, view-invariant relocalization (via the object-based map) and planning (via the 3D scene graph), allowing a team of robots to reason about their surroundings and execute complex tasks. Additionally, we introduce a planning approach that translates operator intent into Planning Domain Definition Language (PDDL) goals using a Large Language Model (LLM) by leveraging context from the shared 3D scene graph and robot capabilities. We provide an experimental assessment of the performance of our system on real-world tasks in large-scale, outdoor environments. A supplementary video is available at https://youtu.be/8xbGGOLfLAY.

arXivで原文を読む →arXiv概要ページ

← 論文一覧