カテゴリカル6D姿勢トラッカーによる実世界の空中視覚誘導に向けて
Towards Real-World Aerial Vision Guidance with Categorical 6D Pose Tracker
空中ロボット操作のためのカテゴリレベル6DoF姿勢追跡器Robust6DoFと姿勢認識離散サーボ戦略PAD-Servoを提案し、実世界での空中視覚誘導を実現した。
著者: Jingtao Sun, Yaonan Wang, Danwei Wang
分類: cs.RO, cs.CV
原文アブストラクト
Tracking the object 6-DoF pose is crucial for various downstream robot tasks and real-world applications. In this paper, we investigate the real-world robot task of aerial vision guidance for aerial robotics manipulation, utilizing category-level 6-DoF pose tracking. Aerial conditions inevitably introduce special challenges, such as rapid viewpoint changes in pitch and roll and inter-frame differences. To support these challenges in task, we firstly introduce a robust category-level 6-DoF pose tracker (Robust6DoF). This tracker leverages shape and temporal prior knowledge to explore optimal inter-frame keypoint pairs, generated under a priori structural adaptive supervision in a coarse-to-fine manner. Notably, our Robust6DoF employs a Spatial-Temporal Augmentation module to deal with the problems of the inter-frame differences and intra-class shape variations through both temporal dynamic filtering and shape-similarity filtering. We further present a Pose-Aware Discrete Servo strategy (PAD-Servo), serving as a decoupling approach to implement the final aerial vision guidance task. It contains two servo action policies to better accommodate the structural properties of aerial robotics manipulation. Exhaustive experiments on four well-known public benchmarks demonstrate the superiority of our Robust6DoF. Real-world tests directly verify that our Robust6DoF along with PAD-Servo can be readily used in real-world aerial robotic applications.
関連論文
- CAPTURER:多様な環境で動的かつ精密な把持を実現する器用な空中マニピュレータ空中マニピュレーション
- 空中マニピュレータの非線形制御空中マニピュレーション
- LLM支援による能動的タスク生成を用いた適応型空中移動マニピュレーションポリシー学習空中マニピュレーション
- 異種環境を横断する対話型空中移動のベンチマーク空中マニピュレーション
- コード飛行:能動的な視覚・物理フィードバックによる空中マニピュレーションのための身体性コーディングエージェント空中マニピュレーション
- HexaGripper: 単一アクチュエータ・ウインチ展開型グリッパによる自律空中荷物回収空中マニピュレーション
