日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2603.18210

GoalVLM: VLM駆動によるマルチエージェント物体ゴールナビゲーション

GoalVLM: VLM-driven Object Goal Navigation for Multi-Agent System

シェア:XThreadsFacebookLINEはてブBluesky

本論文では、視覚言語モデル(VLM)を意思決定に統合し、ゼロショットでオープン語彙の物体ナビゲーションを実現する協調マルチエージェントフレームワークGoalVLMを提案する。

詳しい要約

1. どんなもの?

- どんなもの? - マルチエージェントによるzero-shot・open-vocabularyなobject-goal navigationフレームワークGoalVLMを提案。 - Vision-Language Model (VLM)を意思決定ループに統合し、自由形式の言語ゴールを解釈。 - SAM3によるtext-prompted detection/segmentationとSpaceOMによるspatial reasoningを利用。 - 各エージェントはdepth-projected voxel splattingからBEV semantic mapを構築。 - Goal Projectorが検出をcalibrated depthで地図に逆投影し、ゴール位置を推定。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 従来のobject-goal navigationはground robotsかつclosed-set語彙に限定。 - 既存マルチエージェント手法は固定カテゴリ集合に紐づく事前計算確率グラフに依存し、テスト時の新規ゴールに汎化不可。 - GoalVLMはzero-shot・open-vocabularyで、再学習なしに自由形式言語ゴールを扱える。 - タスク特化学習を必要とせず、state-of-the-art手法と競合する性能を達成。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - VLMをdecision loopに直接統合し、frontierをzero-shot semantic priorsでスコアリング。 - SAM3によるtext-prompted detection/segmentationとSpaceOMによるspatial reasoning。 - BEV semantic mapをdepth-projected voxel splattingで構築。 - Goal Projectorが検出をcalibrated depthで地図に逆投影し、ゴール定位を実現。 - constraint-guided reasoning layerがstructured prompt chain(scene captioning, room-type classification, perception gating, multi-frontier ranking)でfrontierを評価し、commonsense priorsを探索に注入。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - GOAT-Bench val_unseen(360 multi-subtask episodes、1032 sequential object-goal subtasks、HM3D scenes)で評価。 - 各episodeは5-7個のopen-vocabularyターゲットの連続ナビゲーションを要求。 - N=2エージェントのGoalVLMはsubtask SR 55.8%、SPL 18.3%を達成し、タスク特化学習なしでstate-of-the-artと競合。 - Ablation studiesでVLM-guided frontier reasoningとdepth-projected goal localizationの寄与を確認。

5. 議論はある?

- 議論はある? - 要旨からは不明。 - 性能はstate-of-the-artと競合するが、SPL 18.3%など効率面の限界や失敗要因、計算コスト、スケーラビリティに関する議論は要旨に記載なし。

6. 次に読むべき論文は?

- 次に読むべき論文は? - GOAT-Bench(評価ベンチマーク) - SAM3(text-prompted detection/segmentation) - SpaceOM(spatial reasoning) - 既存のmulti-agent object-goal navigation手法(precomputed probabilistic graphsに基づくもの) - Vision-Language Model (VLM)を用いたzero-shot navigation関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: MoniJesu James, Amir Atef Habel, Aleksey Fedoseev, Dzmitry Tsetserokou

分類: cs.RO

原文アブストラクト

Object-goal navigation has traditionally been limited to ground robots with closed-set object vocabularies. Existing multi-agent approaches depend on precomputed probabilistic graphs tied to fixed category sets, precluding generalization to novel goals at test time. We present GoalVLM, a cooperative multi-agent framework for zero-shot, open-vocabulary object navigation. GoalVLM integrates a Vision-Language Model (VLM) directly into the decision loop, SAM3 for text-prompted detection and segmentation, and SpaceOM for spatial reasoning, enabling agents to interpret free-form language goals and score frontiers via zero-shot semantic priors without retraining. Each agent builds a BEV semantic map from depth-projected voxel splatting, while a Goal Projector back-projects detections through calibrated depth into the map for reliable goal localization. A constraint-guided reasoning layer evaluates frontiers through a structured prompt chain (scene captioning, room-type classification, perception gating, multi-frontier ranking), injecting commonsense priors into exploration. We evaluate GoalVLM on GOAT-Bench val_unseen (360 multi-subtask episodes, 1032 sequential object-goal subtasks, HM3D scenes), where each episode requires navigating to a chain of 5-7 open-vocabulary targets. GoalVLM with N=2 agents achieves 55.8% subtask SR and 18.3% SPL, competitive with state-of-the-art methods while requiring no task-specific training. Ablation studies confirm the contributions of VLM-guided frontier reasoning and depth-projected goal localization.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI