VIDAR: 幾何基盤モデルによる視覚慣性密位置合わせと再構成

VIDARは、単眼のgeometric foundation model（Depth Anything 3）が出力する高密度な幾何情報を、SVO+IMUオドメトリによるvisual-inertial front endでメートルスケールに整列・融合する、visual-inertial dense reconstructionフレームワーク。カメラ姿勢・スケール・一貫したワールドフレームをmetric anchorとして提供し、foundation modelの局所幾何をグローバルな再構成に統合する。

従来のmonocular foundation modelは高密度な幾何を提供するが、メートルスケールが不安定で、時系列で一貫した再構成が難しい。VIDARはvisual-inertial odometryをmetric anchorとして用いることで、スケール誤差を約1%に抑え、ground-truthポーズなしでも高精度なdense reconstructionを実現する点が新しい。

手法の肝は、visual-inertial front end（SVO+IMU）が提供するカメラポーズ・スケール・ワールドフレームを利用して、Depth Anything 3（DA3）の予測を整列させる点。pose-conditioned DA3と、decoupled alignment strategyの2つを研究。前者はポーズをDA3に注入し、後者はDA3の予測を後から整列するハイブリッド手法。

EuRoCデータセットで、pose injectionによりスケール誤差を約1%に低減し、平均F@0.10で0.463を達成。decoupled hybridではground-truthポーズなしで0.676に改善。EuRoCとTUM RGB-Dで結果を示し、メートルスケールのdense monocular reconstructionへの実用的な経路であることを実証した。

要旨からは、pose-conditioned DA3とdecoupled alignmentの比較、ground-truthポーズの有無による性能差、他のデータセットや環境での汎用性、計算コスト、DA3の特性への依存などについての議論は不明。

要旨で参照されている研究は、SVO+IMU odometry、Depth Anything 3、EuRoC、TUM RGB-D。次に読むべき論文としては、Depth Anything 3の原著論文、SVOの原著論文、visual-inertial odometryの関連研究、monocular dense reconstructionの分野の定番論文が挙げられる。