FalconTrack: フォトリアルな自動ラベル認識と物理認識に基づく空中追跡

GPS-denied環境でのvision-based aerial tracking向けに、photorealisticなeditable simulatorを用いた自動ラベリングとphysics-aware trackingを統合したFalconTrackを提案する。 - Gaussian Splatting simulator上で短い物体動画からtarget Gaussiansを分離し、ランダム背景と合成してRGB・mask・class・6-DoF poseラベルを自動生成する。 - 約10kのラベル付き画像を20分未満で生成可能。 - このデータセットでmulti-head perception moduleをstaged learningとreprojection consistencyで訓練し、出力をclass-conditioned dynamics priorsとEKFで融合してtrackingする。 - zero-shot sim-to-real transferを目指す統合フレームワーク。

従来のphotorealisticデータセットは人手による重いアノテーションに依存し、作成に時間がかかる。 - FalconTrackはeditable simulatorによる自動ラベリングpipelineを提供し、約10k画像を20分未満で生成する点が異なる。 - perception modelは2つのbaselineを上回り、3つの幾何的に多様な物体と2環境でzero-shot sim-to-real transferにおいて96-100%のclass accuracyを達成。 - 未見のsimulated/real sceneでも一貫した性能を維持。 - 実機closed-loop visual trackingでは約25 Hzで動作し、2環境5軌道のsim-to-real F1-tenthとgate trackingで100%成功。mask-centered vision baselineは高速out-of-view時にF1-tenthで60%成功に低下する。

photorealistic editable simulatorとしてGaussian Splattingを利用。 - 短い物体動画からtarget Gaussiansを分離し、ランダム背景と合成してRGB・mask・class・6-DoF poseラベルを自動生成するlabeling pipeline。 - multi-head perception moduleをstaged learningとreprojection consistencyで訓練。 - その出力をclass-conditioned dynamics priorsとEKFで融合してtrackingを実現。 - zero-shot sim-to-real transferを可能にする統合設計。

3つの幾何的に多様な物体と2環境でzero-shot sim-to-real transferを評価。 - perception modelは2つのbaselineを上回り、class accuracy 96-100%を達成。 - 未見のsimulatedおよびreal sceneで一貫した性能を確認。 - 実機closed-loop visual trackingではonboard systemが約25 Hzで動作し、2環境5軌道のsim-to-real F1-tenthとgate trackingで100%成功。 - mask-centered vision baselineは高速out-of-view時にF1-tenthで60%成功に低下。

要旨からは不明。 - 限界や失敗事例、計算コスト、一般化可能性に関する議論は要旨では明示されていない。 - ただし、mask-centered vision baselineが高速out-of-view時に性能低下することが示され、提案手法の頑健性が対比されている。

要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Gaussian Splatting、EKF、sim-to-real transfer、vision-based aerial tracking、F1-tenth、gate trackingが挙げられる。 - 同分野の定番として、photorealistic dataset生成、domain randomization、multi-head perception、physics-aware trackingに関する研究を読むとよい。