日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.07134

TrackVLA++:具現化視覚追跡のための推論と記憶能力を引き出すVLAモデル

TrackVLA++: Unleashing Reasoning and Memory Capabilities in VLA Models for Embodied Visual Tracking

シェア:XThreadsFacebookLINEはてブBluesky

移動する対象を追跡する具現化視覚追跡において、空間推論と長期記憶のモジュールを導入し、遮蔽や類似物体に強いVLAモデルを提案した。

詳しい要約

1. どんなもの?

- 本論文は、Embodied Visual Tracking (EVT) のための新しい Vision-Language-Action (VLA) モデル「TrackVLA++」を提案する。 - 移動する target を継続的に追従する companion robot や guidance robot 等への応用を想定。 - 既存手法の課題である明示的な spatial reasoning と効果的な temporal memory の欠如に対処。 - 2つの key module: spatial reasoning mechanism と Target Identification Memory (TIM) を導入。

2. 先行研究と比べてどこがすごい?

- 既存の language-guided tracking 手法は、明示的な spatial reasoning と効果的な temporal memory を欠くため、severe occlusion や類似の distractor 存在下で失敗する。 - TrackVLA++ は spatial reasoning mechanism と TIM によりこれらを改善。 - 公開 benchmark の egocentric および multi-camera 設定で state-of-the-art を達成。 - 特に EVT-Bench DT split で previous leading approach をそれぞれ 5.1 と 12 上回る。

3. 技術・手法の肝は?

- spatial reasoning mechanism として Polar-CoT を導入。Chain-of-Thought paradigm により target の相対位置を推論し、compact な polar-coordinate token に符号化して action prediction に利用。 - Target Identification Memory (TIM) は gated update strategy を採用し、long-horizon の target memory を保持。 - これにより spatiotemporal consistency を確保し、extended occlusion 中の target loss を軽減。 - spatial prior が TIM を導く構成。

4. どうやって有効だと検証した?

- 公開 benchmark の egocentric および multi-camera 設定で extensive experiments を実施。 - EVT-Bench DT split で previous leading approach を 5.1 と 12 上回る性能を確認。 - zero-shot generalization を評価し、dynamic かつ occluded な実世界 scenario での robust な tracking を示す。

5. 議論はある?

- 要旨からは不明。 - 明示的な limitation や failure case の議論は要旨に記載なし。

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている previous leading approach の論文(EVT-Bench DT split での比較対象)。 - EVT-Bench の benchmark 論文。 - VLA モデルおよび Chain-of-Thought を用いた spatial reasoning の関連研究。 - Target Identification Memory や gated update strategy に関連する temporal memory 研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiahang Liu, Yunpeng Qi, Jiazhao Zhang, Minghan Li, Shaoan Wang, Kui Wu, Hanjing Ye, Hong Zhang, Zhibo Chen, Fangwei Zhong, Zhizheng Zhang, He Wang

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Embodied Visual Tracking (EVT) is a fundamental ability that underpins practical applications, such as companion robots, guidance robots and service assistants, where continuously following moving targets is essential. Recent advances have enabled language-guided tracking in complex and unstructured scenes. However, existing approaches lack explicit spatial reasoning and effective temporal memory, causing failures under severe occlusions or in the presence of similar-looking distractors. To address these challenges, we present TrackVLA++, a novel Vision-Language-Action (VLA) model that enhances embodied visual tracking with two key modules, a spatial reasoning mechanism and a Target Identification Memory (TIM). The reasoning module introduces a Chain-of-Thought paradigm, termed Polar-CoT, which infers the target's relative position and encodes it as a compact polar-coordinate token for action prediction. Guided by these spatial priors, the TIM employs a gated update strategy to preserve long-horizon target memory, ensuring spatiotemporal consistency and mitigating target loss during extended occlusions. Extensive experiments show that TrackVLA++ achieves state-of-the-art performance on public benchmarks across both egocentric and multi-camera settings. On the challenging EVT-Bench DT split, TrackVLA++ surpasses the previous leading approach by 5.1 and 12, respectively. Furthermore, TrackVLA++ exhibits strong zero-shot generalization, enabling robust real-world tracking in dynamic and occluded scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI