日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビジュアルオドメトリarXiv:2611.11934

球面バンドル調整ガイド付き教師なし深度学習によるスケール整合単眼魚眼ビジュアルオドメトリ

Scale-Consistent Monocular Fisheye Visual Odometry via Spherical Bundle Adjustment-Guided Unsupervised Depth Learning

シェア:XThreadsFacebookLINEはてブBluesky

魚眼カメラの単眼ビジュアルオドメトリにおいて、球面バンドル調整を教師なし深度学習に組み込み、スケールドリフトを抑えて深度推定精度とスケール整合性を向上させるフレームワークを提案した。

詳しい要約

1. どんなもの?

- 単眼fisheyeカメラによるvisual odometry (VO) フレームワーク「S$^2$D-FVO」の提案。 - spherical bundle adjustment (SBA) をガイドとしたunsupervised depth learningを統合。 - 長いtrajectoryでのscale driftの緩和とdepth推定精度の向上を狙う。 - robotic localization and mappingへの応用を想定。

2. 先行研究と比べてどこがすごい?

- 従来のmonocular fisheye VOは長trajectoryでscale driftが課題。 - unsupervised depth learningは緩和に有効だが、fisheye画像の強いdistortionがdepth推定を難しくする。 - 提案はSBAをunsupervised depth learningに統合し、scale consistencyとdepth精度を同時改善。 - 複数の公開datasetと新規大規模datasetで代表的手法を上回ると報告。

3. 技術・手法の肝は?

- SBAはspherical logarithmic mapに基づくtangent-space angular reprojection residualsを使用。 - このresidualは両tangent方向への感度を保持し、normがscalar angular residualに等しい。 - median depth-based scale regularization termをSBAに統合し再構成scaleを拘束。 - SBAがunsupervised depth learning時のpose estimation networkを置換し、view synthesis用の信頼できるrelative poseを提供。 - 学習済みdepth estimation networkがSBAにscale参照を与え、3-D landmark位置のrefineも可能。

4. どうやって有効だと検証した?

- 複数の公開datasetおよび新規収集の2つの大規模datasetで実験。 - depth推定精度とtrajectory推定精度の両方で代表的な既存手法を上回ることを示す。 - 異なるcamera modelにも適用可能であることを確認。

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗ケース、計算コスト等の議論は記述なし)。

6. 次に読むべき論文は?

- spherical bundle adjustment (SBA) およびspherical logarithmic mapに関する研究。 - unsupervised depth learning / view synthesisベースのdepth推定手法。 - monocular fisheye visual odometryおよびscale drift対策の関連研究。 - 要旨で比較対象の具体名は明示されていないため、上記分野の代表的手法を参照。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wanhui Luo, Hongbo Zhao, Yi Zhou, Qijun Chen, Yiming Nie, Rui Fan

分類: cs.CV, cs.RO

原文アブストラクト

The wide field of view of fisheye cameras and the simplicity of a monocular setup make monocular fisheye visual odometry (VO) attractive for robotic localization and mapping. Nevertheless, scale drift remains a major challenge over long trajectories. Unsupervised depth learning can help to mitigate this issue, but the pronounced distortion of fisheye images poses challenges for accurate depth estimation. This article presents S$^2$D-FVO, a monocular fisheye VO framework integrating spherical bundle adjustment (SBA)-guided unsupervised depth learning to improve scale consistency and depth estimation accuracy. Given that pixel reprojection residuals do not uniformly reflect angular deviations between viewing rays and that the first-order linearization of a scalar angular reprojection residual is insensitive to perturbations along one tangent direction, SBA employs tangent-space angular reprojection residuals derived from the spherical logarithmic map. These residuals retain sensitivity along both tangent directions, with their norms equal to the corresponding scalar angular residuals. A median depth-based scale regularization term is further integrated into SBA to constrain the reconstruction scale. Building on these formulations, SBA replaces the pose estimation network during unsupervised depth learning, providing more reliable relative poses for view synthesis. In turn, depth estimates from the well-trained depth estimation network provide scale references for SBA, improving scale consistency while allowing individual 3-D landmark positions to be refined. Extensive experiments conducted on multiple public datasets, as well as two newly collected large-scale datasets, demonstrate that the proposed framework outperforms representative existing approaches in both depth and trajectory estimation accuracy and is applicable to different camera models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI