日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

単眼ナビゲーションarXiv:2610.26508

単眼飛行のための幾何認識プランニング表現のクロスモーダル教師あり学習

Learning Geometry-Aware Planning Representations for Monocular Flight with Cross-Modal Supervision

シェア:XThreadsFacebookLINEはてブBluesky

深度専門家のプランニング特徴をRGBプランナへ蒸留し、深度を明示的に推定せずに障害物回避を可能にする単眼MAVナビゲーション手法を提案。3DGSシミュレータで学習し実環境へゼロショット展開した。

詳しい要約

1. どんなもの?

- 小型無人航空機(MAV)向けの単眼カメラによる高速ナビゲーション手法 - RGB画像2フレーム・相対pose・MAV stateからtrajectoryを予測するplanning framework - 深度を明示的に再構成せず、depth expertのplanning表現をRGB plannerへ転移する - 3D Gaussian Splatting (3DGS) simulatorでデータ収集・評価を行う

2. 先行研究と比べてどこがすごい?

- 既存の高速ナビゲーションはdepth camera・stereo vision・LiDARによる明示的幾何情報に依存 - 単眼は軽量・低コストだが、RGBにはmetric cueがなく環境間で見た目が大きく変化する課題があった - 本手法はdepthを明示再構成せず、feature-level geometric supervisionでplanning表現を獲得 - 実環境でのfine-tuningなしで最大6.5 m/sのobstacle avoidanceを達成

3. 技術・手法の肝は?

- まずdepth-based geometric expertを学習 - paired RGB-D観測を用い、cross-modal distillationでexpertのplanning featureをmonocular branchへ蒸留 - 最後にdownstreamのtrajectory planning objectiveへplannerを適応 - 入力は2画像フレーム・相対pose・MAV state - 3DGS simulatorでvisual observationをrenderし、データ収集とpaired RGB-D supervisionに利用

4. どうやって有効だと検証した?

- 3DGS simulatorで学習したplannerを実環境へdeploy - 実世界でのfine-tuningなしで最大6.5 m/sのobstacle avoidanceを達成 - 詳細な比較実験・ablationの有無は要旨からは不明

5. 議論はある?

- 単眼でmetric cueなし・見た目変化への対応が課題として背景に挙げられる - depth再構成を避けfeature-level supervisionで幾何情報を転移する設計の妥当性が議論点 - 実環境fine-tuning不要での性能限界や汎化範囲は要旨からは不明 - 3DGS simulatorのsim-to-realギャップの議論は要旨からは不明

6. 次に読むべき論文は?

- privileged depth expertを用いるprivileged learning / teacher-student distillation関連研究 - cross-modal distillationによるmonocular depth・geometry表現学習 - 3D Gaussian Splatting (3DGS) を用いたsimulator・データ生成研究 - MAVの高速monocular obstacle avoidance・trajectory planningの既存研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wencan Feng, Bailing Tian, Yulin Hui, Zhiyu Li, Junjie Lu

分類: cs.RO

原文アブストラクト

Existing high-speed navigation systems for micro aerial vehicles (MAVs) commonly rely on depth cameras, stereo vision, or LiDAR to obtain explicit geometric information, while monocular cameras offer a lighter and lower-cost alternative. However, monocular flight remains challenging because RGB images offer no direct metric cues and visual appearance varies considerably across environments. We propose a geometry-aware monocular visual planning framework that predicts trajectories from two image frames, their relative pose, and the MAV state. Without explicitly reconstructing depth, the proposed method complements the downstream planning objective with feature-level geometric supervision by transferring the planning-relevant representation learned by a privileged depth expert to the RGB planner through cross-modal distillation. The framework first trains a depth-based geometric expert, then distills its planning features into a monocular branch using paired RGB-D observations, and finally adapts the planner to the downstream trajectory planning objective. This design encourages the policy to learn planning-relevant geometric features, enabling collision avoidance. We further use a 3D Gaussian Splatting (3DGS) simulator to render visual observations for data collection, paired RGB-D supervision, and simulation evaluation. The planner trained in simulation is then deployed in real-world environments without real-world fine-tuning, achieving obstacle avoidance at speeds of up to 6.5 m/s.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI