物体追跡/物理認識2025/5/1arXiv:2505.22882

TwinTrack: 接触物理と視覚を融合した接触の多い場面での未知物体のリアルタイム追跡

TwinTrack: Bridging Vision and Contact Physics for Real-Time Tracking of Unknown Objects in Contact-Rich Scenes

接触の多い場面で未知の動的物体の6自由度姿勢をリアルタイム追跡するため、視覚と接触物理を統合したReal2SimとSim2Realを組み合わせた物理認識システムを提案し、20Hz以上で高精度な追跡を実現した。

詳しい要約

1. どんなもの？

- 接触の多い場面で未知・動的な物体の6-DoF pose trackingをリアルタイムに行うphysics-aware perception system「TwinTrack」 - dexterous in-hand manipulationや物体落下など、occlusionやmotion blurが生じる状況を対象 - Real2SimとSim2Realを統合し、視覚と接触物理を組み合わせる - GPU加速のcustomized MJX engine上に実装し、20 Hz以上の追跡を実現

2. 先行研究と比べてどこがすごい？

- 純粋なvision-based approachは、接触によるheavy occlusionやabrupt impact由来のmotion blurで失敗しやすい - TwinTrackはcontact physics cuesを活用し、これらの困難な状況でもrobustなtrackingを目指す - 要旨ではbaselinesに対しsignificantly more robust, accurate, real-timeと報告 - 具体的な比較対象名は要旨からは不明

3. 技術・手法の肝は？

- Real2Sim: visionから初期reconstructionを得て、geometry residualを学習しつつcontact dynamics consistencyに基づきmass, inertia, frictionなどのphysical parametersを同時推定 - Sim2Real: visual trackerと更新されたcontact dynamicsの予測をadaptiveにfusionしてrobustなpose estimationを実現 - GPU-acceleratedなcustomized MJX engineでreal-time性能を担保

4. どうやって有効だと検証した？

- 2つのcontact-rich scenariosで評価: 環境接触を伴うobject fallingとmulti-fingered in-hand manipulation - baselinesと比較し、robust・accurate・real-timeなtrackingを達成したと報告 - tracking speedは20 Hz以上 - 定量的な詳細指標は要旨からは不明

5. 議論はある？

- 要旨からは不明 - 想定される論点として、contact physics推定の精度や汎化性、occlusion下でのfusionの挙動が考えられるが、要旨には明記なし

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明記されていない - 関連手法としてReal2Sim、Sim2Real、visual tracker、contact dynamics、MJX engineに関する研究 - 同分野の定番としてdexterous in-hand manipulationや6-DoF object pose trackingの研究を挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wen Yang, Zhixian Xie, Yiting Wang, Abhijit Tadepalli, Heni Ben Amor, Shan Lin, Wanxin Jin

分類: cs.RO

原文アブストラクト

Real-time tracking of previously unseen, highly dynamic objects in contact-rich scenes, such as during dexterous in-hand manipulation, remains a major challenge. Pure vision-based approaches often fail under heavy occlusions due to frequent contact interactions and motion blur caused by abrupt impacts. We propose Twintrack, a physics-aware perception system that enables robust, real-time 6-DoF pose tracking of unknown dynamic objects in contact-rich scenes by leveraging contact physics cues. At its core, Twintrack integrates Real2Sim and Sim2Real. Real2Sim combines vision and contact physics to jointly estimate object geometry and physical properties: an initial reconstruction is obtained from vision, then refined by learning a geometry residual and simultaneously estimating physical parameters (e.g., mass, inertia, and friction) based on contact dynamics consistency. Sim2Real achieves robust pose estimation by adaptively fusing a visual tracker with predictions from the updated contact dynamics. Twintrack is implemented on a GPU-accelerated, customized MJX engine to guarantee real-time performance. We evaluate our method on two contact-rich scenarios: object falling with environmental contacts and multi-fingered in-hand manipulation. Results show that, compared to baselines, Twintrack delivers significantly more robust, accurate, and real-time tracking in these challenging settings, with tracking speeds above 20 Hz. Project page: https://irislab.tech/TwinTrack-webpage/

arXivで原文を読む →arXiv概要ページ

← 論文一覧