日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

空中VLNarXiv:2505.05622

CityNavAgent:階層的意味計画とグローバルメモリによる都市空中ビジョン言語ナビゲーション

CityNavAgent: Aerial Vision-and-Language Navigation with Hierarchical Semantic Planning and Global Memory

シェア:XThreadsFacebookLINEはてブBluesky

ドローンが自然言語指示に従って都市環境をナビゲートする空中VLNタスクに対し、LLMを活用した階層的意味計画と履歴をトポロジカルグラフで保持するグローバルメモリを組み合わせたエージェントを提案し、最先端性能を達成した。

詳しい要約

1. どんなもの?

- 都市環境におけるAerial Vision-and-Language Navigation (VLN) のためのLLM活用エージェント - ドローンが自然言語指示を解釈し複雑な都市環境を航行するembodied AI課題を扱う - 長期的探索における行動空間の指数的拡大と事前定義ナビゲーショングラフの欠如に対処 - コード公開あり (GitHub: VinceOuti/CityNavAgent)

2. 先行研究と比べてどこがすごい?

- 既存の地上VLNエージェントは屋内・屋外で成果を上げているが、aerial VLNでは事前定義ナビゲーショングラフが無く行動空間が指数的に拡大するため苦戦 - 提案手法はナビゲーション複雑性を大幅に削減 - ベンチマーク実験でstate-of-the-art性能を達成し有意な改善を示す - 具体的な比較対象手法名は要旨からは不明

3. 技術・手法の肝は?

- LLMを活用したエージェント - hierarchical semantic planning module (HSPM): 長期タスクを異なる意味レベルを持つsub-goalに分解し、LLMの異なる能力で段階的に目標へ到達 - global memory module: 履歴軌跡をtopological graphとして保存し、訪問済み目標へのナビゲーションを簡素化 - これらにより都市aerial VLNの複雑性を低減

4. どうやって有効だと検証した?

- 広範なベンチマーク実験を実施しstate-of-the-art性能と有意な改善を確認 - 連続都市環境でのaerial VLNにおける各モジュールの有効性を示す追加実験を実施 - 具体的なデータセット名・評価指標は要旨からは不明

5. 議論はある?

- 各モジュールの有効性は実験で示されている - 限界・失敗事例・計算コスト等の詳細な議論は要旨からは不明 - 連続都市環境への適用性に言及

6. 次に読むべき論文は?

- 既存のground VLNエージェント (屋内・屋外VLN手法) - LLMを活用したplanning/agent手法 (詳細名は要旨からは不明) - topological graphに基づくmemory/ナビゲーション手法 - aerial VLNのベンチマーク関連研究 (具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Weichen Zhang, Chen Gao, Shiquan Yu, Ruiying Peng, Baining Zhao, Qian Zhang, Jinqiang Cui, Xinlei Chen, Yong Li

分類: cs.RO, cs.AI

原文アブストラクト

Aerial vision-and-language navigation (VLN), requiring drones to interpret natural language instructions and navigate complex urban environments, emerges as a critical embodied AI challenge that bridges human-robot interaction, 3D spatial reasoning, and real-world deployment. Although existing ground VLN agents achieved notable results in indoor and outdoor settings, they struggle in aerial VLN due to the absence of predefined navigation graphs and the exponentially expanding action space in long-horizon exploration. In this work, we propose \textbf{CityNavAgent}, a large language model (LLM)-empowered agent that significantly reduces the navigation complexity for urban aerial VLN. Specifically, we design a hierarchical semantic planning module (HSPM) that decomposes the long-horizon task into sub-goals with different semantic levels. The agent reaches the target progressively by achieving sub-goals with different capacities of the LLM. Additionally, a global memory module storing historical trajectories into a topological graph is developed to simplify navigation for visited targets. Extensive benchmark experiments show that our method achieves state-of-the-art performance with significant improvement. Further experiments demonstrate the effectiveness of different modules of CityNavAgent for aerial VLN in continuous city environments. The code is available at \href{https://github.com/VinceOuti/CityNavAgent}{link}.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI