日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.10756

オープンボキャブラリ目標理解を備えたUAV向け接地視覚言語ナビゲーション

Grounded Vision-Language Navigation for UAVs with Open-Vocabulary Goal Understanding

シェア:XThreadsFacebookLINEはてブBluesky

LLMとVLMを組み合わせ、機体の単眼カメラ映像のみから言語指示に従って連続速度指令を生成するUAVナビゲーションフレームワークVLFlyを提案し、未学習環境でも高い汎化性能を示した。

詳しい要約

1. どんなもの?

- UAV 向けの Vision-and-Language Navigation (VLN) フレームワーク「Vision-Language Fly (VLFly)」 - 言語指示に従い UAV が飛行することを目的とする - localization や active ranging sensor を必要とせず、機載 monocular camera の egocentric 観測のみから連続速度指令を出力 - 3 モジュール構成 - LLM ベースの instruction encoder が高水準言語を structured prompt に再構成 - VLM ベースの goal retriever が prompt と goal image を vision-language similarity で照合 - waypoint planner が実時間制御用の実行可能 trajectory を生成

2. 先行研究と比べてどこがすごい?

- 従来 VLN の 2 つのボトルネックを狙う - out-of-distribution 環境への汎化 - 固定された discrete action space への依存 - VLFly は追加 fine-tuning なしで多様な simulation 環境に適用し、全 baseline を一貫して上回ると報告 - localization や active ranging sensor を不要とし、monocular camera のみで連続速度指令を出す点を特徴とする - 具体的な baseline 名や先行研究名は要旨からは不明

3. 技術・手法の肝は?

- instruction encoder: LLM が高水準の言語指示を structured prompt に変換 - goal retriever: VLM により prompt と goal image の vision-language similarity を計算して目標を照合 - waypoint planner: 照合結果から実行可能な trajectory を生成し、UAV の real-time control に供する - 入力は機載 monocular camera の egocentric 観測のみで、localization・active ranging sensor を前提としない - 出力は連続 velocity command

4. どうやって有効だと検証した?

- 追加 fine-tuning なしで多様な simulation 環境において評価し、全 baseline を一貫して上回ったと報告 - 実世界の indoor・outdoor 環境で VLN タスクを実施 - direct instruction と indirect instruction の双方を対象 - 抽象的な言語入力に対しても robust な open-vocabulary goal understanding と汎化ナビゲーション能力を示したと報告 - 評価指標・被験者数・試行回数などの詳細は要旨からは不明

5. 議論はある?

- 要旨では limitation や failure case の詳細な議論は述べられていない - 主張は open-vocabulary goal understanding と汎化性能の実証に集中 - LLM/VLM の推論コスト、real-time 性の定量評価、安全性、sim-to-real ギャップなどは要旨からは不明 - baseline の具体的構成や比較条件も要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として以下を挙げて読むのが妥当 - LLM を用いた instruction encoder 関連の language-guided navigation 研究 - VLM による vision-language similarity を用いた goal retrieval 研究 - waypoint planner を用いた UAV の real-time trajectory generation 研究 - discrete action space を扱う既存 VLN 手法 - out-of-distribution 汎化を扱う VLN ベンチマーク研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhang Zhang, Haosheng Yu, Jiaping Xiao, Mir Feroskhan

分類: cs.RO, cs.AI

原文アブストラクト

Vision-and-language navigation (VLN) is a long-standing challenge in autonomous robotics, aiming to empower agents with the ability to follow human instructions while navigating complex environments. Two key bottlenecks remain in this field: generalization to out-of-distribution environments and reliance on fixed discrete action spaces. To address these challenges, we propose Vision-Language Fly (VLFly), a framework tailored for Unmanned Aerial Vehicles (UAVs) to execute language-guided flight. Without the requirement for localization or active ranging sensors, VLFly outputs continuous velocity commands purely from egocentric observations captured by an onboard monocular camera. The VLFly integrates three modules: an instruction encoder based on a large language model (LLM) that reformulates high-level language into structured prompts, a goal retriever powered by a vision-language model (VLM) that matches these prompts to goal images via vision-language similarity, and a waypoint planner that generates executable trajectories for real-time UAV control. VLFly is evaluated across diverse simulation environments without additional fine-tuning and consistently outperforms all baselines. Moreover, real-world VLN tasks in indoor and outdoor environments under direct and indirect instructions demonstrate that VLFly achieves robust open-vocabulary goal understanding and generalized navigation capabilities, even in the presence of abstract language input.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI