日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.22653

見て、指して、飛ぶ:汎用無人航空ナビゲーションのための学習不要VLMフレームワーク

See, Point, Fly: A Learning-Free VLM Framework for Universal Unmanned Aerial Navigation

シェア:XThreadsFacebookLINEはてブBluesky

VLMを活用し、自由な言語指示を画像上の2Dウェイポイントに変換してドローンを閉ループ制御する、学習不要の航空視覚言語ナビゲーション手法を提案。

詳しい要約

1. どんなもの?

- 提案: See, Point, Fly (SPF) - VLM 上に構築した training-free な aerial vision-and-language navigation (AVLN) フレームワーク - 任意の free-form instruction と任意の環境で任意の goal へ航行可能 - 位置づけ - UAV のナビゲーションを VLM で行う研究 - 学習不要で動作する点が特徴

2. 先行研究と比べてどこがすごい?

- 先行 VLM ベース手法との違い - 既存手法は action prediction を text generation タスクとして扱う - SPF は action prediction を 2D spatial grounding タスクとして扱う - 成果 - DRL simulation benchmark で新たな state of the art - 以前の最良手法を絶対マージン 63% で上回る - 実世界評価でも強い baseline を大きく上回る

3. 技術・手法の肝は?

- 核となる着想 - VLM を用いて曖昧な言語指示を入力画像上の 2D waypoint の反復的 annotation に分解 - 行動生成 - 予測された traveling distance と 2D waypoint を 3D displacement vector に変換し UAV の action command とする - traveling distance を適応的に調整し効率的なナビゲーションを実現 - 制御 - closed-loop control 方式で動作し、動的環境下の動的 target 追従を可能にする

4. どうやって有効だと検証した?

- シミュレーション - DRL simulation benchmark で評価し、以前の最良手法を絶対マージン 63% 上回る - 実世界 - 広範な real-world evaluation を実施し、強い baseline を大きく上回る - 追加検証 - 設計選択の有効性を示す comprehensive ablation studies を実施 - 異なる VLM への汎化性も確認

5. 議論はある?

- 要旨からは不明 - 限界や失敗事例、計算コスト、VLM 依存性に関する議論は要旨に記載なし - 示唆される点 - 異なる VLM への汎化が確認されており、モデル選択の柔軟性が議論の対象になり得る

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究 - action prediction を text generation として扱う既存 VLM-based AVLN 手法 - DRL simulation benchmark における previous best method - 関連手法 - VLM を用いた vision-and-language navigation (VLN) - 2D spatial grounding を用いる手法 - closed-loop control による UAV navigation

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chih Yao Hu, Yang-Sen Lin, Yuna Lee, Chih-Hai Su, Jie-Ying Lee, Shr-Ruei Tsai, Chin-Yang Lin, Kuan-Wen Chen, Tsung-Wei Ke, Yu-Lun Liu

分類: cs.RO, cs.AI, cs.CL, cs.CV, cs.LG

原文アブストラクト

We present See, Point, Fly (SPF), a training-free aerial vision-and-language navigation (AVLN) framework built atop vision-language models (VLMs). SPF is capable of navigating to any goal based on any type of free-form instructions in any kind of environment. In contrast to existing VLM-based approaches that treat action prediction as a text generation task, our key insight is to consider action prediction for AVLN as a 2D spatial grounding task. SPF harnesses VLMs to decompose vague language instructions into iterative annotation of 2D waypoints on the input image. Along with the predicted traveling distance, SPF transforms predicted 2D waypoints into 3D displacement vectors as action commands for UAVs. Moreover, SPF also adaptively adjusts the traveling distance to facilitate more efficient navigation. Notably, SPF performs navigation in a closed-loop control manner, enabling UAVs to follow dynamic targets in dynamic environments. SPF sets a new state of the art in DRL simulation benchmark, outperforming the previous best method by an absolute margin of 63%. In extensive real-world evaluations, SPF outperforms strong baselines by a large margin. We also conduct comprehensive ablation studies to highlight the effectiveness of our design choice. Lastly, SPF shows remarkable generalization to different VLMs. Project page: https://spf-web.pages.dev

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI