日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.15875

Fly0: ゼロショット空中視覚言語ナビゲーションのための持続的メトリックアンカリング

Fly0: Persistent Metric Anchoring for Zero-Shot Aerial Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

MLLMによる意味理解と幾何プランナを分離し、指示を3D座標に固定して衝突回避経路を生成する空中VLNフレームワークを提案。視覚喪失時も安定航行でき、成功率20%以上向上・航法誤差約50%削減を実現。

詳しい要約

1. どんなもの?

- どんなもの? - Fly0は、Visual-Language Navigation (VLN) のためのフレームワーク。 - 意味理解と制御精度のトレードオフを解消することを目的とする。 - 三つの段階からなるパイプラインを採用。 - MLLMによる自然言語指示の2Dピクセル座標へのグラウンディング。 - 深度データを用いた3D空間へのターゲット位置推定。 - 衝突回避軌道を生成する幾何プランナー。 - 視覚的接触が失われてもロバストなナビゲーションを可能にする。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 従来のVLNは、MLLMを低レベルコントローラとして使うと、高遅延、軌道振動、弱い幾何グラウンディングによる一般化不足が生じる。 - Fly0は意味推論と幾何計画を分離することで、これらの問題を解決。 - 連続推論が不要になり、計算オーバーヘッドを削減し、システム安定性を向上。 - シミュレーションと実環境で、最先端ベースラインを上回る性能を達成。 - 成功率 (Success Rate) を20%以上改善。 - ナビゲーション誤差 (NE) を約50%削減。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - 三段階パイプライン: - MLLM駆動モジュール:自然言語指示を2Dピクセル座標にグラウンディング。 - 幾何投影モジュール:深度データを利用してターゲットを3D空間にローカライズ。 - 幾何プランナー:衝突のない軌道を生成。 - このメカニズムにより、視覚的接触が失われてもナビゲーションが可能。 - 連続推論を排除し、計算負荷を低減。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - シミュレーションと実世界環境での広範な実験を実施。 - 最先端ベースラインと比較して、Fly0が優位であることを実証。 - 非構造化環境において、成功率を20%以上向上。 - ナビゲーション誤差 (NE) を約50%削減。 - コードは https://github.com/xuzhenxing1/Fly0 で公開。

5. 議論はある?

- 議論はある? - 要旨からは不明。 - 限界や今後の課題についての言及はない。

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Visual-Language Navigation (VLN) や Multimodal Large Language Models (MLLMs) を用いたナビゲーションの研究が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenxing Xu, Yihong Lu, Weidong Bao, Zhengqiu Zhu, Jingxuan Zhou, Zhichuang Wang, Ji Wang, Lihua Liu, Wei He

分類: cs.RO, cs.AI

原文アブストラクト

Current Visual-Language Navigation (VLN) methodologies face a trade-off between semantic understanding and control precision. While Multimodal Large Language Models (MLLMs) offer superior reasoning, deploying them as low-level controllers leads to high latency, trajectory oscillations, and poor generalization due to weak geometric grounding. To address these limitations, we propose Fly0, a framework that decouples semantic reasoning from geometric planning. The proposed method operates through a three-stage pipeline: (1) an MLLM-driven module for grounding natural language instructions into 2D pixel coordinates; (2) a geometric projection module that utilizes depth data to localize targets in 3D space; and (3) a geometric planner that generates collision-free trajectories. This mechanism enables robust navigation even when visual contact is lost. By eliminating the need for continuous inference, Fly0 reduces computational overhead and improves system stability. Extensive experiments in simulation and real-world environments demonstrate that Fly0 outperforms state-of-the-art baselines, improving the Success Rate by over 20\% and reducing Navigation Error (NE) by approximately 50\% in unstructured environments. Our code is available at https://github.com/xuzhenxing1/Fly0.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI