日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

キャリブレーションarXiv:2505.24819

双腕ロボットのカメラキャリブレーションとシーン表現の同時推定

Bi-Manual Joint Camera Calibration and Scene Representation

シェア:XThreadsFacebookLINEはてブBluesky

複数のロボットアームに搭載されたカメラの外部キャリブレーションと腕間の相対姿勢、共有作業空間の3D表現を、マーカーなしで同時に推定するフレームワークを提案。

詳しい要約

1. どんなもの?

- 複数のロボットマニピュレータに搭載したカメラのキャリブレーションとシーン表現を同時に行う枠組み「Bi-JCR (Bi-Manual Joint Calibration and Representation Framework)」を提案する研究。 - 各マニピュレータのカメラから取得したRGB画像セットのみから、以下を同時推定する。 - 各カメラからエンドエフェクタへのextrinsic transformation - マニピュレータ間のinter-arm relative poses - 共有ワークスペースのスケール整合したunified 3D representation - 構築した表現は共通座標系にあり、collision checkingやsemantic segmentationを支援し、bimanual coordinationタスクに資する。

2. 先行研究と比べてどこがすごい?

- 従来のカメラキャリブレーションは、所定のマーカーを写した複数画像を収集する煩雑なプロセスを要する。 - Bi-JCRはキャリブレーションマーカーの撮影を回避できる点が特徴。 - 3D foundation modelsによるdenseかつmarker-freeなmulti-view correspondenceを活用し、キャリブレーションと表現構築を同一のRGB画像セットから統合的に行う点が先行研究と異なる。 - 具体的な先行研究との定量比較は要旨からは不明。

3. 技術・手法の肝は?

- 3D foundation modelsを用いて、マーカー不要のdenseなmulti-view correspondenceを獲得する。 - 同一のRGB画像セットから、カメラ→エンドエフェクタのextrinsic transformation、inter-arm relative poses、scale-consistentなunified 3D representationをjointlyに推定する。 - 両マニピュレータ上のカメラ画像から共通座標系の表現を構築し、collision checkingとsemantic segmentationを可能にする。 - 個々のアルゴリズム詳細や最適化の定式化は要旨からは不明。

4. どうやって有効だと検証した?

- 多様なtabletop environmentsにおいてBi-JCRのrobustnessを実証的に評価した。 - 複数のdownstream tasksに対して適用可能性を示した。 - 具体的な評価指標、データセット、ベースライン、被験タスクの詳細は要旨からは不明。

5. 議論はある?

- マーカーフリーでキャリブレーションと表現構築を統合できる利点が示唆される。 - 一方、3D foundation modelsへの依存や、多様な環境での精度・ロバスト性の限界については要旨からは不明。 - 議論や限界の明示的な記述は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、3D foundation models(dense multi-view correspondence系)やmarker-free camera calibration、multi-view 3D reconstruction、bimanual manipulationの研究を次に読む候補として挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haozhan Tang, Tianyi Zhang, Matthew Johnson-Roberson, Weiming Zhi

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Robot manipulation, especially bimanual manipulation, often requires setting up multiple cameras on multiple robot manipulators. Before robot manipulators can generate motion or even build representations of their environments, the cameras rigidly mounted to the robot need to be calibrated. Camera calibration is a cumbersome process involving collecting a set of images, with each capturing a pre-determined marker. In this work, we introduce the Bi-Manual Joint Calibration and Representation Framework (Bi-JCR). Bi-JCR enables multiple robot manipulators, each with cameras mounted, to circumvent taking images of calibration markers. By leveraging 3D foundation models for dense, marker-free multi-view correspondence, Bi-JCR jointly estimates: (i) the extrinsic transformation from each camera to its end-effector, (ii) the inter-arm relative poses between manipulators, and (iii) a unified, scale-consistent 3D representation of the shared workspace, all from the same captured RGB image sets. The representation, jointly constructed from images captured by cameras on both manipulators, lives in a common coordinate frame and supports collision checking and semantic segmentation to facilitate downstream bimanual coordination tasks. We empirically evaluate the robustness of Bi-JCR on a variety of tabletop environments, and demonstrate its applicability on a variety of downstream tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI