日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データセット/UAV追跡arXiv:2605.17776

CosFly-Track: マルチ制約軌道最適化によるUAV視覚追跡のための大規模マルチモーダルデータセット

CosFly-Track: A Large-Scale Multi-Modal Dataset for UAV Visual Tracking via Multi-Constraint Trajectory Optimization

シェア:XThreadsFacebookLINEはてブBluesky

UAVが動く目標を追跡するための大規模マルチモーダルデータセットと生成パイプラインを提案し、連続3次元空間での多制約最適化により高品質な軌道を生成する。

詳しい要約

1. どんなもの?

- どんなもの? - UAV visual trackingのための大規模マルチモーダルデータセットCosFly-Trackと生成パイプラインを提案。 - 都市環境で移動するターゲットを追跡するUAVの軌道を約12,000本(専門家軌道と摂動軌道)提供。 - 6,000の歩行者経路から生成され、2.4百万タイムステップ(約334時間)を含む。 - 7つの整列データチャネル:RGB、metric depth、semantic segmentation、6DoFドローン姿勢、可視性フラグ付きターゲット状態、バイリンガル(中英)指示、軌道ペアメタデータ。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 既存のaerial vision-language navigation (VLN)データセットは静的目標へのナビゲーションが中心で、動くターゲットを追跡するUAV visual tracking用の訓練データがほぼ存在しなかった。 - CosFly-TrackはUAV visual trackingに特化した初の大規模マルチモーダルデータセットと生成パイプラインを提供。 - グリッドベースプランナーの離散化アーティファクトや事後平滑化を回避する連続3D空間での軌道最適化手法MuCOを開発。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - MuCO:連続3次元空間で直接計画するマルチ制約オプティマイザ。 - BVH加速による衝突と可視性クエリを実行。 - ターゲット可視性、視点品質、衝突回避、滑らかさ、運動学的実現可能性を同時に強制。 - グリッドベースプランナーの離散化アーティファクトと事後平滑化を回避。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - 7つのvision-languageモデルでファインチューニング実験を実施。 - CosFly-Trackにより追跡性能が78.3~95.6% SR@1 meterに向上。 - ゼロショットベースラインと比較して53~69パーセンテージポイントの改善。 - 動的ターゲット追従エージェントの訓練リソースとしての有効性を支持。

5. 議論はある?

- 議論はある? - 要旨からは不明。

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照/比較されている研究:aerial vision-language navigation (VLN) datasets。 - 関連手法:grid-based planners、BVH-accelerated collision and visibility queries。 - 同分野の定番:UAV visual tracking、vision-language navigation (VLN)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiangyue Wang, Hanxuan Chen, Songsheng Cheng, Ruilong Ren, Jie Zheng, Shuai Yuan, Tianle Zeng, Hanzhong Guo, Kangli Wang, Ji Pei

分類: cs.RO

原文アブストラクト

Recent aerial vision-language navigation (VLN) datasets have grown rapidly, but they primarily address goal-oriented navigation to static destinations, leaving UAV visual tracking -- continuously following a moving target while maintaining visibility -- largely without dedicated training data. We introduce CosFlyTrack, a large-scale multi-modal dataset and scalable generation pipeline for UAV visual tracking in urban environments. The dataset provides approximately 12,000 expert and perturbed UAV trajectories generated from 6,000 pedestrian paths, comprising 2.4 million timesteps (approximately 334 hours) with seven aligned data channels: RGB, metric depth, semantic segmentation, six-degree-of-freedom drone pose, target state with visibility flag, bilingual (Chinese-English) instructions, and trajectory-pair metadata. To generate high-quality expert trajectories, we develop MuCO, a multi-constraint optimizer that plans directly in continuous three-dimensional space with BVH-accelerated collision and visibility queries, jointly enforcing target visibility, viewpoint quality, collision avoidance, smoothness, and kinematic feasibility, avoiding the discretization artifacts and post-hoc smoothing of grid-based planners. Fine-tuning experiments on seven vision-language models show that CosFlyTrack improves tracking performance to 78.3 to 95.6 percent SR@1 meter, a 53 to 69 percentage point gain over zero-shot baselines, supporting the dataset as a training resource for dynamic target-following agents. The dataset is publicly available at https://huggingface.co/datasets/AutelRobotics/CosFly; evaluation scripts and pre-trained checkpoints are hosted at https://huggingface.co/AutelRobotics/CosFly-Track.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI