SINGER: ドローン向けオンボード汎用視覚言語ナビゲーションポリシー

- ドローン向けのオンボード汎用 Vision-Language Navigation ポリシー「SINGER」の提案 - 自然言語で指定された目標へ、オンボード sensing と compute のみで自律飛行する - 大規模 vision-language model の進展をドローンの open-vocabulary ナビゲーションへ拡張する試み - 実機飛行実験で zero-shot sim-to-real 転移を示す

- 従来の open-vocabulary ロボットポリシーは主に manipulation 向けで、ドローン自律ナビゲーションは未解決だった - 大規模デモの不足、ドローンのリアルタイム制御要求、信頼できる外部 pose estimation の欠如という課題に対処 - 外部 pose estimation に依存せず、オンボード sensing/compute のみで動作 - 速度制御の semantic guidance baseline に対し、query 到達率 +23.33%、FOV 維持 +16.67%、衝突 -10%

- (i) Gaussian Splatting を用いた photorealistic かつ language-embedded な飛行シミュレータで、sim-to-real gap を小さく効率的にデータ生成 - (ii) RRT-inspired な multi-trajectory generation expert により衝突回避ナビゲーションのデモを生成 - (iii) 軽量 end-to-end visuomotor policy を学習し、リアルタイム closed-loop 制御を実現 - 約 700k–1M の language-conditioned visuomotor 観測-行動ペアで学習

- 実機ドローンによる広範な flight experiments を実施 - 未見環境および未見の language-conditioned goal object への zero-shot sim-to-real 転移を評価 - 速度制御の semantic guidance baseline と比較し、query 到達率・FOV 維持率・衝突率で優位を確認

- 大規模デモ不足や外部 pose estimation 不在という課題への対処を主張 - シミュレータの photorealistic さと sim-to-real gap の関係が鍵 - 実機での zero-shot 転移と baseline 比較の定量的優位を示す - 具体的な限界や失敗事例、計算資源要件の詳細は要旨からは不明

- Gaussian Splatting を用いた photorealistic sim-to-real 研究 - RRT 系の multi-trajectory generation / motion planning 研究 - 軽量 end-to-end visuomotor policy に関する研究 - open-vocabulary navigation および language-conditioned robot policy の関連研究 - 比較対象の velocity-controlled semantic guidance baseline 関連研究