日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2607.12630

インスタンス強化セマンティックマップによる視覚言語ナビゲーション

Instance-Enriched Semantic Maps for Visual Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語ナビゲーションのための、インスタンスレベルの詳細情報を持つ2.5Dセマンティックマップを構築し、LLMベースのクエリ処理と融合により多様な指示に対して頑健なナビゲーションを実現するフレームワークを提案した。

詳しい要約

1. どんなもの?

- Visual Language Navigation (VLN) において、自然言語指示に従い屋内環境を移動する embodied agent 向けの枠組み。 - Instance-Enriched Semantic Maps と称し、instance-level の 2.5D 意味地図を構築。 - 主な貢献は (1) instance-level 2.5D 情報マッピング、(2) LLM ベースの robust な query 処理、(3) 3D scene-graph 比約96%削減の記憶効率。

2. 先行研究と比べてどこがすごい?

- 既存手法は semantic spatial maps と LLM 推論を用いるが、instance-level の物体詳細と多様な query への頑健性が不足。 - 提案法は 2.5D 表現により 3D baseline を prediction-normalized AUC で 27% 以上上回る。 - ナビゲーション実験で object retrieval 17% 以上、navigation success 23% 以上改善。

3. 技術・手法の肝は?

- color と depth 観測から open-vocabulary panoptic segmentation を用いて instance-level 2.5D 地図を構築。 - 垂直方向の区別を保持し小さな物体も捉え、多様な semantic attributes と room-level context を含む自然言語 caption を保存。 - LLM ベースの target selection で query を type-specialized experts に動的 routing し、score-level fusion で統合。

4. どうやって有効だと検証した?

- 2.5D 表現と 3D baseline を prediction-normalized AUC で比較し 27% 以上の改善を確認。 - ナビゲーション実験で多様な query タイプに対し object retrieval 17% 以上、navigation success 23% 以上の改善を報告。 - 記憶効率は 3D scene-graph 比約96%削減を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている 3D scene-graph ベースの VLN 手法、LLM を用いた semantic spatial map 構築手法、open-vocabulary panoptic segmentation 関連研究。 - 同分野の定番として Visual Language Navigation (VLN) の既存ベンチマークや LLM-based navigation 研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiho Hong, Eunae Kang, Sanghyun Kim, Young-Sik Shin

分類: cs.RO, cs.CV

原文アブストラクト

Visual Language Navigation (VLN) aims to enable an embodied agent to navigate complex environments by following natural language instructions. Recent approaches build semantic spatial maps and leverage Large Language Models (LLMs) for reasoning and decision making. Despite these advances, existing systems lack instance-level object detail and robustness to diverse user queries, limiting reliable navigation in complex indoor environments. To address these limitations, we propose Instance-Enriched Semantic Maps, a unified framework with three key contributions: (1) Instance-level two-and-a-half-dimensional (2.5D) rich information mapping that constructs maps from color and depth observations via open-vocabulary panoptic segmentation, preserving vertical distinctions and capturing small objects, while storing diverse semantic attributes and natural language captions enriched with room-level context. (2) Robust query processing via LLM-based target selection, which dynamically routes queries across type-specialized experts and integrates their outputs through score-level fusion, enabling consistent goal selection across diverse query formulations. (3) Storage-efficient semantic representation that achieves approximately 96% reduction compared to three-dimensional (3D) scene-graph approaches while preserving sufficient spatial information for navigation. The proposed 2.5D representation outperforms the 3D baseline by over 27% in prediction-normalized Area Under the Curve (AUC). In navigation experiments, our method achieves over 17% improvement in object retrieval and over 23% in navigation success compared to the baseline across diverse query types. The project page is available at https://rcilab.github.io/iesm_vln.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI