日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.06564

SkyVLN:都市環境におけるUAVのための視覚言語ナビゲーションとNMPC制御

SkyVLN: Vision-and-Language Navigation and NMPC Control for UAVs in Urban Environments

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルを活用して自然言語指示と視覚情報からUAVを都市環境でナビゲートする枠組みを提案し、NMPCによる障害物回避と軌道追従を統合した。

詳しい要約

1. どんなもの?

- UAV の都市環境における自律飛行を目的とした SkyVLN というフレームワーク - vision-and-language navigation (VLN) と Nonlinear Model Predictive Control (NMPC) を統合 - 自然言語指示と視覚観測を解釈して 3D 空間を航行 - マルチモーダルなナビゲーションエージェント - fine-grained spatial verbalizer - history path memory mechanism - NMPC モジュールで動的障害物回避と軌道追従を担う

2. 先行研究と比べてどこがすごい?

- 従来のナビゲーション手法と異なり、Large Language Models (LLMs) を活用して自然言語指示と視覚観測を解釈 - 動的な 3D 空間での精度とロバスト性を向上させると主張 - 空間的文脈の曖昧性解消、曖昧な指示への対処、必要時のバックトラックを可能にする点が特徴 - 具体的な先行研究名や定量的比較は要旨からは不明

3. 技術・手法の肝は?

- LLMs による自然言語指示と視覚観測の解釈 - fine-grained spatial verbalizer による空間的文脈の細粒度表現 - history path memory mechanism による経路履歴の保持とバックトラック - NMPC モジュールによる動的障害物回避、精密な軌道追従、衝突防止 - マルチモーダルなナビゲーションエージェントとして統合

4. どうやって有効だと検証した?

- AirSim を用いた高忠実度 3D 都市シミュレーション環境を構築 - 現実的な画像と動的な都市要素を含む - 広範な実験を実施 - ナビゲーション成功率と効率の有意な改善を確認 - 特に新規・未見環境で有効と報告

5. 議論はある?

- 要旨からは不明 - 限界、失敗事例、計算コスト、実機検証の有無などは明記されていない

6. 次に読むべき論文は?

- vision-and-language navigation (VLN) の代表的先行研究 - Nonlinear Model Predictive Control (NMPC) を用いた UAV ナビゲーション研究 - AirSim を用いた都市環境シミュレーション研究 - Large Language Models (LLMs) をロボティクスに応用したナビゲーション研究 - 要旨で具体的に参照・比較されている論文名は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianshun Li, Tianyi Huai, Zhen Li, Yichun Gao, Haoang Li, Xinhu Zheng

分類: cs.RO, cs.AI, cs.SY, eess.SY

原文アブストラクト

Unmanned Aerial Vehicles (UAVs) have emerged as versatile tools across various sectors, driven by their mobility and adaptability. This paper introduces SkyVLN, a novel framework integrating vision-and-language navigation (VLN) with Nonlinear Model Predictive Control (NMPC) to enhance UAV autonomy in complex urban environments. Unlike traditional navigation methods, SkyVLN leverages Large Language Models (LLMs) to interpret natural language instructions and visual observations, enabling UAVs to navigate through dynamic 3D spaces with improved accuracy and robustness. We present a multimodal navigation agent equipped with a fine-grained spatial verbalizer and a history path memory mechanism. These components allow the UAV to disambiguate spatial contexts, handle ambiguous instructions, and backtrack when necessary. The framework also incorporates an NMPC module for dynamic obstacle avoidance, ensuring precise trajectory tracking and collision prevention. To validate our approach, we developed a high-fidelity 3D urban simulation environment using AirSim, featuring realistic imagery and dynamic urban elements. Extensive experiments demonstrate that SkyVLN significantly improves navigation success rates and efficiency, particularly in new and unseen environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI