FlowPilot: 俊敏なUAVナビゲーションのためのリアルタイム世界行動モデリング

FlowPilotは、深度画像のみからUAVの機動的なナビゲーションをリアルタイムで行うためのコンパクトなworld-action modelである。map-then-optimizeパイプラインやエンドツーエンドのポリシーとは異なり、flow matchingを用いて将来の深度観測と実行可能な軌道を同時にdenoiseする。デュアルストリームのmixture-of-transformersがビデオとアクションのエキスパートを共有アテンションで結合し、将来シーン予測と軌道生成が相互に情報を提供する。展開時にはアクション中心に動作し、軌道のみを出力する。軌道は次数7のBernstein多項式でパラメータ化され、現在状態が初期制御点を制約し、ネットワークが5つの自由制御点を予測することで、閉形式の速度・加速度・ジャークを持つC^2連続な参照を生成する。

従来のmap-then-optimizeパイプラインは局所再構築を必要とし、エンドツーエンドのポリシーは明示的なシーン予測を欠く。FlowPilotは、将来の深度観測と軌道を同時にモデル化することで、シーン予測と軌道生成が相互に強化される点が新しい。また、軌道をBernstein多項式でパラメータ化し、C^2連続性と閉形式の微分を保証することで、追従可能性を確保している。さらに、高スループットシミュレーション、フォトリアリスティックシミュレーション、実機データの3レベル深度ピラミッドで訓練され、実機では18ms未満の推論時間を達成している点が優れている。

手法の核は、flow matchingによる将来深度と軌道の同時denoisingと、デュアルストリームのmixture-of-transformersアーキテクチャである。ビデオとアクションのエキスパートが共有アテンションを通じて結合され、相互に情報を交換する。軌道は次数7のBernstein多項式で表現され、現在状態が最初の制御点を固定し、ネットワークが残りの5つの自由制御点を予測する。これにより、C^2連続な軌道が得られ、速度・加速度・ジャークが閉形式で計算できる。訓練は3レベルの深度ピラミッド（高スループットシミュレーション、フォトリアリスティックシミュレーション、実機データ）で行われる。

閉ループシミュレーションにおいて、障害物密度の増加や指令速度8m/sまでの条件下で、学習ベースおよび最適化ベースのベースラインを上回る性能を示した。物理クアッドローターでは、Jetson Orin NX上で全perception-to-actionパイプラインが18ms未満で動作し、屋内および森林環境で5.5m/sの速度を達成した。センサはオンボードの深度カメラのみを使用し、計算もオンボードで完結している。

要旨からは、FlowPilotの限界や議論点は明示されていない。ただし、シミュレーションと実機のギャップ、深度センサのノイズに対する頑健性、動的障害物への対応などが潜在的な課題として考えられるが、要旨には記載がない。また、軌道の表現がBernstein多項式に限定されているため、複雑な環境での表現力に制限がある可能性も議論の余地があるが、要旨からは不明。

要旨で参照されている関連研究は明示されていないが、同分野の定番として、学習ベースのナビゲーション手法（例: Reinforcement Learning-based policies）や最適化ベースの手法（例: Model Predictive Control）が挙げられる。また、flow matchingを用いた生成モデルや、world modelsを用いたロボティクス応用の論文が関連する。具体的には、Flow Matchingの原論文や、UAVナビゲーションにおけるworld modelの応用研究を読むことが推奨される。