インペインティングを利用したロボットマニピュレータの視覚ベース制御のためのキーポイント検出
Utilizing Inpainting for Keypoint Detection for Vision-Based Control of Robotic Manipulators
ロボットの身体に付けたArUcoマーカーをインペインティングで除去し、マーカーレス画像からキーポイントを自動学習する視覚サーボ制御手法を提案。部分遮蔽時にも別のインペインティングモデルで復元し、UKFで安定化してモデルフリー制御を実現した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Sreejani Chatterjee, Venkatesh Mullur, Abhinav Gandhi, Berk Calli
分類: cs.RO
原文アブストラクト
We present a novel visual servoing framework for controlling a robotic manipulator in configuration space using only natural visual features. To train our data-driven keypoint detector, we attach ArUco markers along the robot body, use their centers as keypoint labels, and apply image inpainting to remove the markers and reconstruct the occluded regions. This produces automatically labeled, markerless robot images without requiring accurate camera calibration or robot models. At runtime, a second inpainting model reconstructs robot regions that are partially occluded, enabling continuous keypoint detection. An Unscented Kalman Filter (UKF) further improves temporal consistency and robustness of the keypoint estimates. We demonstrate successful model-free, vision-based control using natural robot features under both full visibility and partial occlusion. To show broader applicability, we also extend the perception pipeline to two-module and three-module soft origami arms and qualitatively evaluate keypoint detection and temporal tracking on these platforms.
