日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

SLAMarXiv:2506.21420

EndoFlow-SLAM: フロー制約付きガウシアンスプラッティングによるリアルタイム内視鏡SLAM

EndoFlow-SLAM: Real-Time Endoscopic SLAM with Flow-Constrained Gaussian Splatting

シェア:XThreadsFacebookLINEはてブBluesky

内視鏡手術向けに、オプティカルフロー損失と深度正則化を導入した3DガウシアンスプラッティングベースのリアルタイムSLAM手法を提案し、静的・動的手術シーンで高精度な再構成とカメラ姿勢推定を実現した。

詳しい要約

1. どんなもの?

- 内視鏡手術シーン向けのリアルタイム3D再構成・可視化を目的としたSLAMシステム - 3D Gaussian Splatting (3DGS) をベースに、光学的流れ(optical flow)損失とdepth regularisationを組み込んだEndoFlow-SLAMを提案 - 静的・動的な手術シーン双方でのnovel view synthesisとpose estimationの高精度化を狙う

2. 先行研究と比べてどこがすごい?

- 既存の3DGSベースSLAMの多くはappearance constraintsのみで3DGSとcamera poseを最適化 - 内視鏡特有のnon-Lambertian表面によるphotometric inconsistenciesや呼吸によるdynamic motionに対処できていなかった - 本研究はoptical flow lossによるgeometric constraintとdepth regularisationを追加し、これらの課題に対応 - C3VD (static) とStereoMIS (dynamic) で既存state-of-the-artを上回ると報告

3. 技術・手法の肝は?

- optical flow lossをgeometric constraintとして導入し、3D構造とcamera motionの両方を制約 - depth regularisation strategyによりphotometric inconsistenciesを緩和し、内視鏡シーンでの3DGS depth renderingの妥当性を確保 - 3DGS refinement strategyを改良し、render品質が劣るKeyframeに対応するviewpointに焦点を当ててシーン表現を改善

4. どうやって有効だと検証した?

- C3VD static datasetとStereoMIS dynamic datasetで実験 - novel view synthesisとpose estimationの両タスクで既存state-of-the-art手法を上回る性能を確認 - 静的・動的な手術シーンの双方で高い性能を示したと報告

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗ケース、計算コスト等の議論は要旨に記載なし) - photometric inconsistenciesやdynamic motionへの対処が性能向上に寄与した点は示唆される

6. 次に読むべき論文は?

- 3D Gaussian Splatting (3DGS) ベースのSLAM関連研究 - 内視鏡SLAMの関連研究 - C3VD datasetおよびStereoMIS datasetを用いた研究 - optical flowをgeometric constraintとして用いるSLAM研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Taoyu Wu, Yiyi Miao, Zhuoxiao Li, Haocheng Zhao, Kang Dang, Jionglong Su, Limin Yu, Haoang Li

分類: cs.CV, cs.RO

原文アブストラクト

Efficient three-dimensional reconstruction and real-time visualization are critical in surgical scenarios such as endoscopy. In recent years, 3D Gaussian Splatting (3DGS) has demonstrated remarkable performance in efficient 3D reconstruction and rendering. Most 3DGS-based Simultaneous Localization and Mapping (SLAM) methods only rely on the appearance constraints for optimizing both 3DGS and camera poses. However, in endoscopic scenarios, the challenges include photometric inconsistencies caused by non-Lambertian surfaces and dynamic motion from breathing affects the performance of SLAM systems. To address these issues, we additionally introduce optical flow loss as a geometric constraint, which effectively constrains both the 3D structure of the scene and the camera motion. Furthermore, we propose a depth regularisation strategy to mitigate the problem of photometric inconsistencies and ensure the validity of 3DGS depth rendering in endoscopic scenes. In addition, to improve scene representation in the SLAM system, we improve the 3DGS refinement strategy by focusing on viewpoints corresponding to Keyframes with suboptimal rendering quality frames, achieving better rendering results. Extensive experiments on the C3VD static dataset and the StereoMIS dynamic dataset demonstrate that our method outperforms existing state-of-the-art methods in novel view synthesis and pose estimation, exhibiting high performance in both static and dynamic surgical scenes.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI