日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

キャリブレーションarXiv:2603.29414

ネイティブドメインのクロスアテンションによるカメラ-LiDAR外部キャリブレーション:大きな初期摂動下での性能向上

Native-Domain Cross-Attention for Camera-LiDAR Extrinsic Calibration Under Large Initial Perturbations

シェア:XThreadsFacebookLINEはてブBluesky

カメラとLiDARの外部キャリブレーションを、3D幾何を歪めずに直接対応付けるクロスアテンション機構を提案し、大きな初期誤差下でも高精度なキャリブレーションを実現した。

詳しい要約

1. どんなもの?

- カメラとLiDARの外部キャリブレーションを、大きな初期誤差がある場合でも高精度に行う手法を提案。 - 画像パッチとLiDAR点群をネイティブドメインで直接対応付けるクロスアテンションを導入。 - 外部パラメータ仮説をアテンション機構に注入し、幾何学的に一貫したクロスモーダル相互作用を実現。 - KITTIとnuScenesで評価し、精度とロバスト性で最先端を上回る。

2. 先行研究と比べてどこがすごい?

- 既存の学習ベース手法はLiDAR点を深度マップに投影して特徴融合するため、3D幾何が歪み、初期外部パラメータが真値から遠いと性能が劣化。 - 提案手法は投影深度マップに依存せず、ネイティブドメインで直接対応を取るため、大きな初期摂動下でも高精度。 - 大規模な外部摂動下でKITTIの88%、nuScenesの99%のケースで正確なキャリブレーションを達成し、2番目に良いベースラインを大幅に上回る。

3. 技術・手法の肝は?

- 外部パラメータを意識したクロスアテンションフレームワークを提案。 - 画像パッチとLiDAR点群グループをネイティブドメインで直接アライメント。 - アテンション機構に外部パラメータ仮説を明示的に注入し、対応モデリングを実行。 - 投影2D深度マップに依存せず、幾何学的に一貫したクロスモーダル相互作用を可能にする。

4. どうやって有効だと検証した?

- KITTIとnuScenesベンチマークで広範な実験を実施。 - 精度とロバスト性の両面で最先端手法を一貫して上回ることを確認。 - 大きな外部摂動下で、KITTIの88%とnuScenesの99%のケースで正確なキャリブレーションを達成。 - 2番目に良いベースラインを大幅に超える性能を示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、投影ベースの学習手法(例:Deep Learning for Camera-LiDAR Calibration)や、KITTIおよびnuScenesベンチマークを用いた外部キャリブレーション研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ni Ou, Zhuo Chen, Xinru Zhang, Junzheng Wang

分類: cs.CV, cs.RO

原文アブストラクト

Accurate camera-LiDAR fusion relies on precise extrinsic calibration, which fundamentally depends on establishing reliable cross-modal correspondences under potentially large misalignments. Existing learning-based methods typically project LiDAR points into depth maps for feature fusion, which distorts 3D geometry and degrades performance when the extrinsic initialization is far from the ground truth. To address this issue, we propose an extrinsic-aware cross-attention framework that directly aligns image patches and LiDAR point groups in their native domains. The proposed attention mechanism explicitly injects extrinsic parameter hypotheses into the correspondence modeling process, enabling geometry-consistent cross-modal interaction without relying on projected 2D depth maps. Extensive experiments on the KITTI and nuScenes benchmarks demonstrate that our method consistently outperforms state-of-the-art approaches in both accuracy and robustness. Under large extrinsic perturbations, our approach achieves accurate calibration in 88% of KITTI cases and 99% of nuScenes cases, substantially surpassing the second-best baseline. We have open sourced our code on https://github.com/gitouni/ProjFusion to benefit the community.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI