日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/UAV追跡arXiv:2607.15004

CosFly-VLA: UAV追跡のための空間認識型視覚言語行動モデル

CosFly-VLA: A Spatially Aware Vision-Language-Action Model for UAV Tracking

シェア:XThreadsFacebookLINEはてブBluesky

建物や障害物による遮蔽中でもターゲットを追跡できる、空間認識を備えた視覚言語行動(VLA)モデルを提案。大規模データでの事前学習とカリキュラム学習、強化学習により、遮蔽時の追跡性能を向上させる。

詳しい要約

1. どんなもの?

- UAVによる動的ターゲット追跡のためのVLAモデル - 都市環境での遮蔽物による見失い問題に対処 - ターゲットの位置特定、可視性推定、連続飛行行動生成を統合 - 構造化予測インターフェースを採用 - 大規模データとカリキュラム学習、RLで訓練

2. 先行研究と比べてどこがすごい?

- 既存VLAポリシーは可視ターゲット追跡は可能だが遮蔽に弱い - 遮蔽時にターゲット状態を失い誤行動を増幅する問題を解決 - OpenVLAと比較し、開ループADEを34.1%削減(seen-test) - 閉ループ最適化でSRを29.8%向上(seen-test) - 空間的接地と行動閉ループ制御への進歩を示す

3. 技術・手法の肝は?

- 空間的に接地された継続事前学習(CPT)を500k混合プールで実施 - UAV視点の深度、距離、3D空間推論を注入 - 3段階カリキュラムSFT:マルチヘッドウォームアップ後、自然/長遮蔽データで2段階学習 - Chain-of-Thought(CoT)訓練で回復指向の推論トレースを学習 - 閉ループRLでスタンドオフ追跡、接地品質、衝突回避、タスク成功の複合報酬を最適化

4. どうやって有効だと検証した?

- 開ループADEで評価:seen-testで34.1%削減、unseen-testで35.3%削減 - 閉ループSRで評価:seen-testで29.8%向上、unseen-testで2.5%向上 - 共有オラクル状態履歴下で評価 - OpenVLAとの比較で有効性を検証

5. 議論はある?

- 遮蔽時の性能劣化と誤差増幅の課題を指摘 - 空間的接地と閉ループ制御の重要性を示唆 - 評価は共有オラクル状態履歴下で行われた - 実環境での一般化や限界については要旨からは不明

6. 次に読むべき論文は?

- OpenVLA(比較対象として参照) - Vision-Language-Action(VLA)ポリシー全般 - Chain-of-Thought(CoT)を用いたロボティクス研究 - カリキュラム学習と強化学習を組み合わせた追跡手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruilong Ren, Songsheng Cheng, Yunpeng Zhou, Hanxuan Chen, Xiangyue Wang, Tianle Zeng, Shuai Yuan, Binbo Li, Hanzhong Guo, Ji Pei, Da Zhang, Kangli Wang

分類: cs.RO

原文アブストラクト

Dynamic target tracking is essential for Unmanned Aerial Vehicles (UAVs) operating in complex urban environments, where both the target and the camera viewpoint change continuously. Existing Vision-Language-Action (VLA) policies can track visible targets effectively, but their performance often degrades when buildings, vegetation, or roadside objects block the line of sight. During sustained occlusion, a policy may lose the target state, execute actions toward an incorrect region, and amplify this error through subsequent observations until re-acquisition becomes impossible. To this end, we present CosFly-VLA, a spatially aware VLA model that jointly grounds the target, estimates its visibility, and generates continuous flight actions through a structured prediction interface. To train this policy, we use a large-scale recipe over diverse data sources. Spatially Grounded Continued Pretraining (CPT) on a 500k mixed pool injects UAV-view depth, distance, and 3-D spatial reasoning. A three-stage Curriculum-based Supervised Fine-Tuning (SFT) process then specializes the tracker through multi-head warm-up followed by two-stage curriculum learning over natural and hard / long-occlusion data. Chain-of-Thought (CoT) training subsequently teaches recovery-oriented reasoning traces before structured answers. Finally, a closed-loop Reinforcement Learning (RL) stage optimizes tracking behavior with a multi-component reward covering stand-off tracking, grounding quality, collision avoidance, and task success. Relative to OpenVLA, CosFly-VLA-0.8B reduces open-loop Average Displacement Error (ADE) by 34.1% on seen-test and 35.3% on unseen-test. Closed-loop optimization improves Success Rate (SR) by 29.8% and 2.5%, respectively. These results demonstrate progress from visible-frame imitation toward spatially grounded action-closed-loop control, evaluated under a shared oracle state history.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI