日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

トラッキング/セグメンテーションarXiv:2606.29861

SUMO: 非線形状態空間モデルによる任意の動きのセグメンテーションと追跡

SUMO: Segment and Track Any Motion with Nonlinear State Space Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚的手がかりに依存せず、ロボティクス由来の非線形状態空間モデルと選択的アンセンテッドフィルタを用いて、ゼロショットで動物体のセグメンテーションと追跡を統合するフレームワークを提案した。

詳しい要約

1. どんなもの?

- 視覚物体追跡(VOT)と移動物体セグメンテーション(MOS)を統合したフレームワークSUMOを提案。 - zero-shotかつtraining-freeで、非線形ダイナミクスと視覚ベースのセグメンテーションを組み合わせる。 - ロボティクス原理に着想を得た非線形State Space Model (SSM)を開発。 - Selective Unscented Filter (SUF)による状態推定と、メモリ選択機構を導入。 - VOTとMOSの両タスクで最先端性能を達成。

2. 先行研究と比べてどこがすごい?

- 既存手法は主に視覚的手がかりに依存し、複雑・非線形な物体運動で失敗しがち。 - SUMOは非線形ダイナミクスを統合し、zero-shot・training-freeでVOTとMOSを統一。 - ロボティクス原理に基づく非線形SSMとSUFにより、複雑な運動下でも高精度・一貫性を実現。 - メモリ選択機構でメモリフレームの信頼性を評価し、性能を向上。

3. 技術・手法の肝は?

- ロボティクス原理に着想を得た非線形State Space Model (SSM)で物体ダイナミクスを捕捉。 - Selective Unscented Filter (SUF)を提案し、正確な状態推定を実現。 - SUFはjoint scoring mechanismと多源予測の動的融合を特徴とし、最も plausible な物体状態を特定。 - メモリ選択機構を適用し、メモリフレームの信頼性を評価。 - zero-shotかつtraining-freeの統合フレームワーク。

4. どうやって有効だと検証した?

- 広範な実験結果により、SUMOがVOTとMOSの両タスクでstate-of-the-art性能を達成することを示した。 - 具体的なデータセットや評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Visual Object Tracking (VOT)とMoving Object Segmentation (MOS)の既存手法、およびState Space Model (SSM)やUnscented Filter (UF)に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kexin Tian, Sixu Li, Keshu Wu, Yang Zhou, Zhengzhong Tu

分類: cs.CV, cs.AI

原文アブストラクト

Visual Object Tracking (VOT) and Moving Object Segmentation (MOS) are two fundamental tasks in computer vision that involve both spatial and temporal object dynamics. Existing methods rely predominantly on visual cues and thus often falter in real-world scenarios where object motions are inherently complex and nonlinear. To address this limitation, we propose SUMO, a zero-shot, training-free, unified framework integrating nonlinear dynamics with vision-based segmentation for accurate and consistent VOT and MOS. Specifically, we develop a nonlinear State Space Model (SSM) inspired by robotics principles to capture the complex object dynamics. Building on this model, we propose a Selective Unscented Filter (SUF) for accurate state estimation, which features a joint scoring mechanism and dynamically fuses multi-source predictions to identify the most plausible object state over time. Furthermore, we apply a memory selection mechanism to evaluate the reliability of memory frames. Our extensive experimental results show that SUMO achieves state-of-the-art performance on both VOT and MOS tasks.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI