日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

キャリブレーション/3D再構成arXiv:2509.08813

Calib3R: 3D基盤モデルによるハンドアイキャリブレーションとメートルスケール3Dシーン再構成

Calib3R: Hand-Eye Calibration and 3D Metric-Scaled Scene Reconstruction with 3D Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

3D基盤モデルでRGB画像から点群を抽出し、ロボット姿勢と統合最適化することで、パターン不要でハンドアイキャリブレーションと実スケール3D再構成を同時に行う手法を提案。

詳しい要約

1. どんなもの?

- RGB画像からロボットの手先-カメラ間のhand-eye calibrationとmetric-scaledな3Dシーン再構成を同時に行う手法Calib3Rの提案。 - パターン不要(patternless)で、単一カメラ・多カメラのロボットアーム構成に対応。 - 3D foundation modelを用いてRGB画像からpointmapsを抽出し、robot posesと組み合わせてロボットbase基準系に整合したスケール付き3Dシーンを再構成する。

2. 先行研究と比べてどこがすごい?

- 従来のcalibrationはパターンを必要とし、RGBベース再構成はスケール未知・任意座標系の3D形状しか得られないという分離した問題設定だった。 - 多カメラでは共有参照系への変換が更なる複雑さを生む。 - Calib3Rはこれらを統一最適化で同時解決し、10枚未満の画像で高精度calibrationを達成し、patternless/pattern-based両手法を上回ると報告。

3. 技術・手法の肝は?

- 3D foundation modelによりRGB画像からpointmapsを抽出。 - 抽出したpointmapsとrobot posesを統合し、スケール付き3Dシーンをロボットbase参照系に整合させる統一最適化を実施。 - 単一カメラ・多カメラ構成の双方を扱う設計。 - 詳細な最適化定式化や損失は要旨からは不明。

4. どうやって有効だと検証した?

- 多様なデータセット上で実験を実施。 - 10枚未満の画像で正確なcalibrationを達成し、patternless手法およびpattern-based手法を上回る性能を示したと報告。 - 具体的なデータセット名・評価指標・再構成精度の数値は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗ケース、3D foundation model依存性、多カメラ設定でのスケーラビリティ等の議論は要旨に明記されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されているpattern-based hand-eye calibration手法。 - patternless calibration手法。 - 3D foundation model(要旨では具体名不明)のpointmap抽出に関する研究。 - 関連するRGB-based 3D reconstructionおよびmulti-camera calibrationの定番研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Davide Allegro, Matteo Terreran, Stefano Ghidoni

分類: cs.RO

原文アブストラクト

Robots often rely on RGB images for tasks like manipulation. However, reliable interaction typically requires a 3D scene representation that is metric-scaled and aligned with the robot reference frame. This depends on accurate hand-eye calibration and dense 3D reconstruction, tasks usually treated separately, despite both relying on geometric correspondences from RGB data. Traditional calibration techniques needs patterns, while RGB-based reconstruction yields 3D geometry with an unknown scale in an arbitrary frame. Multi-camera setups add further complexity, as data must be expressed in a shared reference frame. We present Calib3R, a patternless method that jointly performs hand-eye calibration and metric-scaled 3D reconstruction via unified optimization. Calib3R handles single- and multi-camera setups on robot arms. It builds on a 3D foundation model to extract pointmaps from RGB images, which are combined with robot poses to reconstruct a scaled 3D scene aligned with the robot base reference frame. Experiments on diverse datasets show that Calib3R achieves accurate calibration with less than 10 images, outperforming patternless and pattern-based methods.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI