EndoFlow-SLAM: フロー制約付きガウシアンスプラッティングによるリアルタイム内視鏡SLAM
EndoFlow-SLAM: Real-Time Endoscopic SLAM with Flow-Constrained Gaussian Splatting
内視鏡手術向けに、オプティカルフロー損失と深度正則化を導入した3DガウシアンスプラッティングベースのリアルタイムSLAM手法を提案し、静的・動的手術シーンで高精度な再構成とカメラ姿勢推定を実現した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Taoyu Wu, Yiyi Miao, Zhuoxiao Li, Haocheng Zhao, Kang Dang, Jionglong Su, Limin Yu, Haoang Li
分類: cs.CV, cs.RO
原文アブストラクト
Efficient three-dimensional reconstruction and real-time visualization are critical in surgical scenarios such as endoscopy. In recent years, 3D Gaussian Splatting (3DGS) has demonstrated remarkable performance in efficient 3D reconstruction and rendering. Most 3DGS-based Simultaneous Localization and Mapping (SLAM) methods only rely on the appearance constraints for optimizing both 3DGS and camera poses. However, in endoscopic scenarios, the challenges include photometric inconsistencies caused by non-Lambertian surfaces and dynamic motion from breathing affects the performance of SLAM systems. To address these issues, we additionally introduce optical flow loss as a geometric constraint, which effectively constrains both the 3D structure of the scene and the camera motion. Furthermore, we propose a depth regularisation strategy to mitigate the problem of photometric inconsistencies and ensure the validity of 3DGS depth rendering in endoscopic scenes. In addition, to improve scene representation in the SLAM system, we improve the 3DGS refinement strategy by focusing on viewpoints corresponding to Keyframes with suboptimal rendering quality frames, achieving better rendering results. Extensive experiments on the C3VD static dataset and the StereoMIS dynamic dataset demonstrate that our method outperforms existing state-of-the-art methods in novel view synthesis and pose estimation, exhibiting high performance in both static and dynamic surgical scenes.
関連論文
- エッジ上でのRGB-D SLAM:Raspberry Pi 5におけるRTAB-MapとORB-SLAM3のベンチマークとプロファイリングSLAM
- 拡散事前分布と来歴認識を用いた動的環境向け単眼ガウシアンスプラッティングSLAMSLAM
- V3DSAM: 意味・幾何学的ループ検証と幾何学固定の永続インスタンスマッピングによるフィードフォワード高密度SLAMSLAM
- DASH-SLAM: 深度スケール伝播によるキャリブレーション不要のメトリック単眼SLAMSLAM
- 暗黙的意味論と系列一貫性ループ閉じ込めによるVGGTベースSLAMのスケールアンカリングSLAM
- 磁気慣性を密結合したフィールドロボット向けSLAMシステムSLAM
