日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.09163

SPAN-Nav: 多様な視覚言語ナビゲーションのための汎用空間認識

SPAN-Nav: Generalized Spatial Awareness for Versatile Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

RGB動画から占有予測で空間事前知識を学習し、単一トークンで空間手がかりを行動推論に注入する視覚言語ナビゲーション基盤モデルを提案。

詳しい要約

1. どんなもの?

- SPAN-Navは、RGB video streamsを用いたend-to-endのembodied navigation向けfoundation model。 - Vision-Language Models (VLMs)を活用したversatile Vision-Language Navigation (VLN)において、複雑環境での信頼できるpath planningの課題である不十分なspatial awarenessを解決する。 - 大規模なindoor/outdoor環境でのoccupancy prediction taskを通じてspatial priorsを抽出。 - 計算負荷を抑えるため、spatial priorsを単一tokenで表現するcompact representationを導入。 - Chain-of-Thought (CoT)機構に着想を得て、このspatial tokenをaction reasoningに明示的に注入。 - multi-task co-trainingにより、明示的なspatial supervisionがないタスクにも汎化する…

2. 先行研究と比べてどこがすごい?

- 従来のVLMベースembodied navigationはversatile VLNで強い汎化を示すが、複雑環境での信頼できるpath planningはspatial awareness不足で困難。 - SPAN-Navは、RGB video streamsからuniversal 3D spatial awarenessをend-to-endで注入する点が新しい。 - 多様なsceneでoccupancy predictionを行いspatial priorsを抽出し、単一tokenで粗粒度cueを表現するcompact representationを導入。 - CoT機構に着想を得てspatial tokenをaction reasoningに明示注入する枠組みを提案。 - multi-task co-trainingにより、明示的spatial supervisionのないタスクにも汎化可能。 - 4.2 million occupancy annotationsの大規模データセットを構築。 - 3 benchmarkでstate-of-the-artを達成し、real-wo…

3. 技術・手法の肝は?

- RGB video streamsを入力とし、end-to-endでnavigationを行うfoundation model。 - occupancy prediction taskを大規模indoor/outdoor環境で実施し、spatial priorsを抽出。 - spatial priorsを単一tokenに圧縮するcompact representationを採用。単一tokenでnavigationに必要な粗粒度cueを包含可能と発見。 - Chain-of-Thought (CoT)機構に着想を得て、この単一spatial tokenをaction reasoningに明示的に注入。 - multi-task co-trainingにより、generalized spatial priorsからtask-adaptive cuesを獲得。 - 明示的spatial supervisionがないタスクにもrobust spatial awarenessを汎化。 - 4.2 million occupancy annotationsのデータセットを構築し、包括的spa…

4. どうやって有効だと検証した?

- 多様なscenarioとnavigation taskにまたがる3つのbenchmarkでstate-of-the-art性能を達成。 - real-world experimentsを実施し、複雑なphysical scenarioでのrobust generalizationとpractical reliabilityを検証。 - 4.2 million occupancy annotationsからなる大規模データセットを提示し、包括的spatial learningを支援。 - 具体的なbenchmark名や評価指標、real-world実験の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 想定される議論点:単一tokenでspatial priorsを表現するcompact representationの限界、multi-task co-trainingのタスク間干渉、real-worldでの安全性や計算コストなどが考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Vision-Language Models (VLMs)を活用したembodied navigation、versatile Vision-Language Navigation (VLN)、Chain-of-Thought (CoT)機構。 - 関連手法:occupancy prediction、multi-task co-training。 - 同分野の定番:Vision-Language Navigation (VLN)、embodied navigation、spatial awareness、foundation model。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiahang Liu, Tianyu Xu, Jiawei Chen, Lu Yue, Jiazhao Zhang, Zhiyong Wang, Minghan Li, Qisheng Zhao, Anqi Li, Qi Su, Zhizheng Zhang, He Wang

分類: cs.RO

原文アブストラクト

Recent embodied navigation approaches leveraging Vision-Language Models (VLMs) demonstrate strong generalization in versatile Vision-Language Navigation (VLN). However, reliable path planning in complex environments remains challenging due to insufficient spatial awareness. In this work, we introduce SPAN-Nav, an end-to-end foundation model designed to infuse embodied navigation with universal 3D spatial awareness using RGB video streams. SPAN-Nav extracts spatial priors across diverse scenes through an occupancy prediction task on extensive indoor and outdoor environments. To mitigate the computational burden, we introduce a compact representation for spatial priors, finding that a single token is sufficient to encapsulate the coarse-grained cues essential for navigation tasks. Furthermore, inspired by the Chain-of-Thought (CoT) mechanism, SPAN-Nav utilizes this single spatial token to explicitly inject spatial cues into action reasoning through an end-to end framework. Leveraging multi-task co-training, SPAN-Nav captures task-adaptive cues from generalized spatial priors, enabling robust spatial awareness to generalize even to the task lacking explicit spatial supervision. To support comprehensive spatial learning, we present a massive dataset of 4.2 million occupancy annotations that covers both indoor and outdoor scenes across multi-type navigation tasks. SPAN-Nav achieves state-of-the-art performance across three benchmarks spanning diverse scenarios and varied navigation tasks. Finally, real-world experiments validate the robust generalization and practical reliability of our approach across complex physical scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI