日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.15725

UAV-Flow Colosseo:言葉に反応して飛ぶUAV模倣学習の実世界ベンチマーク

UAV-Flow Colosseo: A Real-World Benchmark for Flying-on-a-Word UAV Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

言語指示に応じて短距離・反応的な飛行を行う「Flying-on-a-Word」タスクを定式化し、実世界データセット・制御フレームワーク・シミュレータを備えた初のベンチマークUAV-Flowを構築した。

詳しい要約

1. どんなもの?

- UAV を言語対話型プラットフォームへ進化させる研究 - 高レベル計画・長距離 navigation ではなく、言語指示に応じた短距離・反応的な fine-grained trajectory control に着目 - この問題を Flying-on-a-Word (Flow) task として定式化 - UAV imitation learning により、expert pilot の軌跡と atomic language instructions のペアから fine-grained control policy を学習 - 最初の real-world benchmark「UAV-Flow」を提示 - task formulation - 多様環境で収集した大規模 dataset - deployable control framework - 系統的評価用 simulation suite

2. 先行研究と比べてどこがすごい?

- 先行研究は主に high-level planning と long-horizon navigation に集中 - 本研究は language-guided fine-grained trajectory control へ焦点を移す点が新しい - UAV-Flow は language-conditioned fine-grained UAV control の最初の real-world benchmark と主張 - expert-level の精密な flight trajectory を模倣でき、sim-to-real gap なしの直接 deploy を可能にする設計 - VLN と VLA の両 paradigm を benchmark し、VLA が VLN baseline より優れることを示す - fine-grained Flow 設定では spatial grounding が重要であることを明示

3. 技術・手法の肝は?

- Flying-on-a-Word (Flow) task を定式化 - UAV imitation learning を採用 - expert pilot の軌跡と atomic language instructions のペアを模倣 - 短距離・反応的な fine-grained control policy を学習 - UAV-Flow benchmark の構成 - 多様環境で収集した大規模 dataset - deployable control framework - simulation suite による系統的評価 - 実機展開を想定し、sim-to-real gap なしの直接 deploy を狙う設計 - 詳細な model architecture や学習アルゴリズムは要旨からは不明

4. どうやって有効だと検証した?

- UAV-Flow 上で extensive experiments を実施 - VLN と VLA の paradigm を benchmarking - 結果 - VLA models が VLN baselines より優れる - fine-grained Flow 設定で spatial grounding が critical であることを示す - 具体的な評価指標・被験者数・実機飛行条件などは要旨からは不明

5. 議論はある?

- VLA が VLN より優れるという結果は、fine-grained Flow における spatial grounding の重要性を示唆 - sim-to-real gap なしの直接 deploy を可能とする設計を主張 - 制約・失敗事例・安全性・汎化性・計算コストなどの議論は要旨からは不明 - dataset の規模・多様性の限界や、atomic language instructions の範囲についての議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照/比較されているのは VLN と VLA の paradigm - 関連手法として Vision-Language Navigation (VLN) と Vision-Language-Action (VLA) モデルを挙げる - 同分野の定番として UAV navigation および language-conditioned robot imitation learning の研究を挙げる - 個別論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiangyu Wang, Donglin Yang, Yue Liao, Wenhao Zheng, wenjun wu, Bin Dai, Hongsheng Li, Si Liu

分類: cs.RO, cs.CV

原文アブストラクト

Unmanned Aerial Vehicles (UAVs) are evolving into language-interactive platforms, enabling more intuitive forms of human-drone interaction. While prior works have primarily focused on high-level planning and long-horizon navigation, we shift attention to language-guided fine-grained trajectory control, where UAVs execute short-range, reactive flight behaviors in response to language instructions. We formalize this problem as the Flying-on-a-Word (Flow) task and introduce UAV imitation learning as an effective approach. In this framework, UAVs learn fine-grained control policies by mimicking expert pilot trajectories paired with atomic language instructions. To support this paradigm, we present UAV-Flow, the first real-world benchmark for language-conditioned, fine-grained UAV control. It includes a task formulation, a large-scale dataset collected in diverse environments, a deployable control framework, and a simulation suite for systematic evaluation. Our design enables UAVs to closely imitate the precise, expert-level flight trajectories of human pilots and supports direct deployment without sim-to-real gap. We conduct extensive experiments on UAV-Flow, benchmarking VLN and VLA paradigms. Results show that VLA models are superior to VLN baselines and highlight the critical role of spatial grounding in the fine-grained Flow setting.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI