日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚サーボ制御arXiv:2604.13309

インペインティングを利用したロボットマニピュレータの視覚ベース制御のためのキーポイント検出

Utilizing Inpainting for Keypoint Detection for Vision-Based Control of Robotic Manipulators

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの身体に付けたArUcoマーカーをインペインティングで除去し、マーカーレス画像からキーポイントを自動学習する視覚サーボ制御手法を提案。部分遮蔽時にも別のインペインティングモデルで復元し、UKFで安定化してモデルフリー制御を実現した。

詳しい要約

1. どんなもの?

- ロボットマニピュレータを視覚情報のみで制御する新しいvisual servoingフレームワーク。 - 自然な視覚特徴を用い、データ駆動型のkeypoint detectorを訓練。 - ArUco markersをロボットに貼り、その中心をkeypointラベルとして使用。 - 画像inpaintingでマーカーを除去し、マーカーなしロボット画像を自動生成。 - 実行時には別のinpaintingモデルで部分遮蔽を再構成し、keypoint検出を継続。 - Unscented Kalman Filter (UKF)で時間的一貫性とロバスト性を向上。 - 完全可視・部分遮蔽下でのモデルフリー視覚制御を実証。 - 2モジュールおよび3モジュールのソフト折り紙アームにも拡張し、定性的に評価。

2. 先行研究と比べてどこがすごい?

- 従来のvisual servoingは正確なカメラキャリブレーションやロボットモデルを必要とすることが多い。 - 本研究はそれらを必要とせず、自然な視覚特徴のみで制御を可能にする。 - 自動ラベリングとinpaintingにより、マーカーレス画像を生成する点が新しい。 - 部分遮蔽時にもinpaintingで再構成し、keypoint検出を維持する点が優れている。 - UKFを組み合わせて時間的一貫性を高めている点も従来にない。

3. 技術・手法の肝は?

- ArUco markersをロボットに貼り、その中心をkeypointラベルとして使用。 - 画像inpaintingを適用してマーカーを除去し、遮蔽領域を再構成。 - これにより自動的にラベル付けされたマーカーレスロボット画像を生成。 - 実行時には別のinpaintingモデルで部分遮蔽領域を再構成。 - keypoint検出を継続的に行い、UKFで時間的整合性とロバスト性を改善。 - 正確なカメラキャリブレーションやロボットモデルは不要。

4. どうやって有効だと検証した?

- 完全可視および部分遮蔽下でのモデルフリー視覚制御を実証。 - 2モジュールおよび3モジュールのソフト折り紙アームに知覚パイプラインを拡張。 - これらのプラットフォームでkeypoint検出と時間的追跡を定性的に評価。 - 成功を実証しているが、定量的な評価指標は要旨からは不明。

5. 議論はある?

- 議論の詳細は要旨からは不明。 - 限界や課題についての言及は要旨にはない。 - 定性的評価のみで、定量的な性能評価は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてvisual servoing、keypoint detection、image inpainting、Unscented Kalman Filter (UKF)が挙げられる。 - 同分野の定番として、model-based visual servoingやdeep learning-based keypoint detectionの論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sreejani Chatterjee, Venkatesh Mullur, Abhinav Gandhi, Berk Calli

分類: cs.RO

原文アブストラクト

We present a novel visual servoing framework for controlling a robotic manipulator in configuration space using only natural visual features. To train our data-driven keypoint detector, we attach ArUco markers along the robot body, use their centers as keypoint labels, and apply image inpainting to remove the markers and reconstruct the occluded regions. This produces automatically labeled, markerless robot images without requiring accurate camera calibration or robot models. At runtime, a second inpainting model reconstructs robot regions that are partially occluded, enabling continuous keypoint detection. An Unscented Kalman Filter (UKF) further improves temporal consistency and robustness of the keypoint estimates. We demonstrate successful model-free, vision-based control using natural robot features under both full visibility and partial occlusion. To show broader applicability, we also extend the perception pipeline to two-module and three-module soft origami arms and qualitatively evaluate keypoint detection and temporal tracking on these platforms.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI