日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.23189

TrackVLA: 実環境における身体性視覚追跡

TrackVLA: Embodied Visual Tracking in the Wild

シェア:XThreadsFacebookLINEはてブBluesky

視覚と言語と行動を統合したVLAモデルで、対象認識と軌道計画を同時に学習し、遮蔽や動きの激しい実環境でも10FPSで頑健に目標を追跡する。

詳しい要約

1. どんなもの?

- 本論文は、Embodied AIにおける基本的なスキルであるEmbodied visual trackingのためのVision-Language-Action (VLA)モデル「TrackVLA」を提案する。 - エージェントはegocentric visionのみを用いて動的環境内の特定のターゲットを追従する。 - 従来のモジュール分離型アプローチとは異なり、物体認識と軌道計画の相乗効果を学習する。 - 共有LLMバックボーンを活用し、認識にはlanguage modeling head、軌道計画にはanchor-based diffusion modelを採用する。 - 学習のためにEmbodied Visual Tracking Benchmark (EVT-Bench)を構築し、170万サンプルのデータセットを収集した。

2. 先行研究と比べてどこがすごい?

- 既存手法は認識と計画をモジュールに分離して扱うことが一般的であったが、TrackVLAはVLAモデルとして両者の相乗効果を学習する点が新しい。 - 公開ベンチマークにおいて既存手法をzero-shotで大幅に上回るSOTA性能を達成した。 - 実世界環境での高いダイナミクスやオクルージョンに対してロバストであり、10 FPSの推論速度を実現している。 - 合成環境と実世界環境の両方で強い汎化性能を示した。

3. 技術・手法の肝は?

- 共有LLMバックボーンを中心に、認識タスクにはlanguage modeling headを、軌道計画にはanchor-based diffusion modelを用いる。 - 認識と計画を単一モデル内で統合し、相乗効果を学習するアーキテクチャが肝である。 - 学習データとして、多様な難易度の認識サンプルを含む170万サンプルのデータセットを構築した。 - 具体的なLLMの種類やdiffusion modelの詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 合成環境と実世界環境の両方で広範な実験を実施した。 - 公開ベンチマークにおいて、既存手法をzero-shotで大幅に上回る性能を達成した。 - 実世界シナリオでの高いダイナミクスとオクルージョンに対するロバスト性を10 FPSの推論速度で実証した。 - 具体的な評価指標やベースライン手法の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - ただし、実世界でのロバスト性や推論速度に関する議論が含まれる可能性がある。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、modular separation of recognition and planning(認識と計画のモジュール分離型アプローチ)が挙げられる。 - また、Vision-Language-Action (VLA)モデルやanchor-based diffusion modelに関する文献が参考になる。 - 同分野の定番として、Embodied AIにおけるvisual trackingの既存研究(例:tracking-by-detection手法)を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shaoan Wang, Jiazhao Zhang, Minghan Li, Jiahang Liu, Anqi Li, Kui Wu, Fangwei Zhong, Junzhi Yu, Zhizheng Zhang, He Wang

分類: cs.RO, cs.CV

原文アブストラクト

Embodied visual tracking is a fundamental skill in Embodied AI, enabling an agent to follow a specific target in dynamic environments using only egocentric vision. This task is inherently challenging as it requires both accurate target recognition and effective trajectory planning under conditions of severe occlusion and high scene dynamics. Existing approaches typically address this challenge through a modular separation of recognition and planning. In this work, we propose TrackVLA, a Vision-Language-Action (VLA) model that learns the synergy between object recognition and trajectory planning. Leveraging a shared LLM backbone, we employ a language modeling head for recognition and an anchor-based diffusion model for trajectory planning. To train TrackVLA, we construct an Embodied Visual Tracking Benchmark (EVT-Bench) and collect diverse difficulty levels of recognition samples, resulting in a dataset of 1.7 million samples. Through extensive experiments in both synthetic and real-world environments, TrackVLA demonstrates SOTA performance and strong generalizability. It significantly outperforms existing methods on public benchmarks in a zero-shot manner while remaining robust to high dynamics and occlusion in real-world scenarios at 10 FPS inference speed. Our project page is: https://pku-epic.github.io/TrackVLA-web.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI