統一空間意味プロンプトによる身体化視覚追跡と潜在ダイナミクス学習

本論文は、Embodied Visual Tracking (EVT) における目標指示のパラダイムを、テキストのみから unified spatial-semantic prompting へと転換することを提案している。従来の言語ベース指示では、混雑シーンで同一意味記述に合致する複数物体が存在し、目標の曖昧な grounding が生じる問題があった。そこで、text, point, bounding box, mask のプロンプトを単一アーキテクチャで扱う end-to-end フレームワーク USS を導入する。USS は異種プロンプトを modality-specific encoders で符号化し、hybrid attention で視覚特徴と融合し、プロンプト条件付きのコンパクト表現を egocentric waypoints にデコードする。さらに latent world model を組み込み、自己教師あり alignment で将来表現を予測し時間的頑健性を高める。

従来の EVT は主に language-based target indication に依存し、テキスト指示の曖昧性が問題であった。USS は text, point, bounding box, mask を統一アーキテクチャで扱う unified spatial-semantic prompting を導入し、明示的な空間手がかりにより instance-level target identity の維持を可能にする。実機実験では、類似の distractor や長期的追跡において text-only より高い成功率を示した。シミュレーションベンチマークでは non-MLLM-based 手法の中で state-of-the-art を達成し、最近の MLLM-based 手法とも競合しつつ推論速度が速い。

USS は end-to-end の embodied tracking フレームワークである。異種プロンプト（text, point, bounding box, mask）を modality-specific encoders で符号化し、prompt tokens を hybrid attention により視覚特徴と融合する。その後、プロンプト条件付きのコンパクト表現を egocentric waypoints にデコードする。時間的頑健性のため latent world model を組み込み、自己教師あり alignment により将来表現を予測する。

実機ロボット実験により、明示的な空間目標手がかりが text-only プロンプトより高い成功率をもたらすことを示した。特に類似の distractor が存在する場面や、instance-level target identity の維持が重要な長期的追跡で有効である。シミュレーションベンチマークでは、non-MLLM-based 手法の中で state-of-the-art 性能を達成し、最近の MLLM-based 手法に対しては競合する結果をより速い推論速度で示した。

本研究の知見は、spatial-semantic prompting が embodied visual tracking においてより正確で柔軟な目標指示インターフェースを提供することを示している。ただし、要旨からは具体的な限界や失敗事例、計算コストの詳細、latent world model の学習安定性などについての議論は不明である。

要旨で参照・比較されている研究として、language-based target indication を用いる従来の EVT 手法、non-MLLM-based 手法、最近の MLLM-based アプローチが挙げられる。また、latent world model や self-supervised alignment に関連する研究も次に読むべき候補である。具体的な論文名は要旨からは不明。