GeoGS-SLAM: 幾何学的事前情報を用いたガウススプラッティングによるオンライン単眼再構成

GeoGS-SLAMは、3D Gaussian Splatting (3DGS)ベースのマップ表現と学習された幾何学的先行知識を組み合わせた、オンライン単眼密再構成システムである。未校正のRGB入力から、事前学習済みのフィードフォワード視覚幾何モデルを用いてカメラとシーンの先行知識を予測し、RGB入力と幾何学的先行知識の両方からGaussianプリミティブを直接サンプリングしてシーンマップを拡張する。カメラポーズとシーンマップは、光度損失と幾何損失の両方を最小化するcoarse-to-fine戦略で共同最適化される。さらに、オンラインのループ閉じ込み検出とポーズグラフ最適化を組み込むことで、大域的な一貫性を確保する。

従来の3DGSベースのSLAM手法は、外部深度センサーからの追加の幾何情報を必要とすることが多い。一方、事前学習済みフィードフォワードモデルからの幾何学的先行知識を利用する最近のSLAMシステムは、リアルタイムの密再構成を可能にするが、最適化中に元のRGB情報を捨てることが多く、再構成品質を低下させる。GeoGS-SLAMは、3DGSベースのマップ表現と学習された幾何学的先行知識を組み合わせることで、外部深度センサーを必要とせず、RGB情報を活用しながら高品質な再構成を実現する点が新しい。

手法の肝は、1) 事前学習済みのフィードフォワード視覚幾何モデルを用いてカメラとシーンの先行知識を予測し、2) RGB入力と幾何学的先行知識の両方からGaussianプリミティブを直接サンプリングしてシーンマップを拡張する点、3) カメラポーズとシーンマップを光度損失と幾何損失の両方を用いてcoarse-to-fine戦略で共同最適化する点、4) オンラインのループ閉じ込み検出とポーズグラフ最適化を組み込んで大域的な一貫性を確保する点である。

屋内および屋外のベンチマークでの広範な実験を通じて、GeoGS-SLAMが最先端手法と比較して優れたレンダリング品質とトラッキング精度を達成し、オンラインのリアルタイム性能を維持することを実証した。具体的な数値や比較対象は要旨からは不明。

要旨からは、外部深度センサーを必要としない点やRGB情報を活用する点が利点として挙げられるが、学習された幾何学的先行知識の精度や、動的シーンや大規模シーンへの適用可能性、計算コストの詳細などについては言及されていない。また、coarse-to-fine戦略やループ閉じ込みの具体的な実装や、他のSLAMシステムとの比較における限界についての議論は要旨からは不明。

要旨で参照されている関連研究として、3D Gaussian Splatting (3DGS)ベースのSLAM手法、および事前学習済みフィードフォワードモデルからの幾何学的先行知識を利用するSLAMシステムが挙げられる。具体的な論文名は不明だが、同分野の定番として、ORB-SLAM、DTAM、BundleFusion、または3DGSを用いた最近のSLAM手法（例：SplaTAM、GS-SLAM）などが考えられる。