日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

トラッキングarXiv:2605.09513

QueST: 長期追跡におけるドリフト抑制のためのセマンティックモニタとしての永続クエリ

QueST: Persistent Queries as Semantic Monitors for Drift Suppression in Long-Horizon Tracking

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ内の点追跡をフレーム間対応ではなく、永続的なセマンティッククエリとして扱うことで、長期間の追跡で生じるドリフトを抑制する新しいフレームワークを提案した。

詳しい要約

1. どんなもの?

ビデオ中の点追跡をframe-to-frame対応ではなく、長期的な監視問題として再定式化した研究。QueSTは、interaction-relevant entitiesを一時的な点追跡ではなく永続的なsemantic queriesとして扱うmonitoring-by-designフレームワーク。各queryは各time-stepでspatio-temporal video featuresにグローバルにattentionし、時間を超えた安定したsemantic anchorを提供する。さらに軽量な3D physical groundingでquery軌跡を制約し、occlusion下のunbounded driftを抑制する。

2. 先行研究と比べてどこがすごい?

従来のtrackerは局所的なframe-to-frame対応のため、articulation、occlusion、viewpoint changeで誤差が蓄積し、silent semantic driftを検出・修正できない。QueSTは局所伝播ではなくグローバルattentionによるsemantic monitoringを組み込み、driftを設計段階で抑制する点が新しい。SAPIENのPartNet-Mobility長期的articulated sequencesでRAFT-3D、CoTracker、TAP-Netと比較し、terminal driftを大幅に削減、TAP-Net比で67.7%のAbsolute Point Error (APE)改善、長期でのidentity保持も向上。

3. 技術・手法の肝は?

各queryが毎time-stepでspatio-temporal video featuresにグローバルにattentionし、semantic anchorとして機能。局所的な点伝播を排除。さらに軽量な3D physical groundingを導入し、geometric plausibilityでquery軌跡を制約してocclusion下のdriftを抑制。これによりsemantic monitoringをperceptionに直接埋め込む。

4. どうやって有効だと検証した?

SAPIENのPartNet-Mobilityから長期的articulated sequencesを用いて評価。比較対象はRAFT-3D、CoTracker、TAP-Net。結果としてterminal driftを大幅に削減し、TAP-Net比で67.7%のAbsolute Point Error (APE)改善、長期horizonでのidentity保持も向上。

5. 議論はある?

要旨からは不明。ただし、semantic monitoringをperceptionに埋め込むことでdistribution shift下の長期的追跡の信頼性が向上することを示唆。

6. 次に読むべき論文は?

RAFT-3D、CoTracker、TAP-Net。関連手法としてPartNet-Mobility、SAPIEN。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mayank Anand, Mohammad Saqlain, Kyan Mahajan, Priya Shukla, Gora Chand Nandi, Andrew Melnik

分類: cs.CV, cs.RO

原文アブストラクト

Tracking points in videos is typically formulated as frame-to-frame correspondence, where each point is matched locally to the next frame. While this works over short horizons, errors accumulate under articulation, occlusion, and viewpoint change, leading to silent semantic drift that existing trackers cannot detect or correct. In this work, we revisit long-horizon tracking from a monitoring perspective and introduce QueST, a monitoring-by-design framework that treats interaction-relevant entities as persistent semantic queries rather than transient point tracks. Instead of local propagation, each query attends globally over spatio-temporal video features at every time-step, providing a stable semantic anchor across time. We further constrain query trajectories with lightweight 3D physical grounding, using geometric plausibility to suppress unbounded drift under occlusion. We evaluate QueST on long-horizon articulated sequences from PartNet-Mobility in SAPIEN and compare against RAFT-3D, CoTracker, and TAP-Net. QueST substantially reduces terminal drift achieving a 67.7% Absolute Point Error (APE) improvement over TAP-Net while better preserving identity over extended horizons. Our results show that embedding semantic monitoring directly into perception enables more reliable long-horizon tracking under distribution shift.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI