日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

SLAMarXiv:2607.08408

Track2Map: ロボット手術における動作認識ポーズ最適化を用いたオンライン変形SLAM

Track2Map: Online Deformable SLAM with Motion-Aware Pose Optimization in Robotic Surgery

シェア:XThreadsFacebookLINEはてブBluesky

手術映像からカメラ軌跡と変形する3Dシーンを同時に最適化するオンライン3DガウススプラッティングSLAM手法を提案し、カメラ軌跡の事前情報がない場合でも高品質な再構成を実現した。

詳しい要約

1. どんなもの?

Track2Mapは、ロボット支援低侵襲手術(RAMIS)におけるオンラインの3D Gaussian Splattingベースの変形可能SLAM手法。手術ビデオからカメラ軌道と3D変形シーン表現を同時に最適化し、カメラ軌道の事前情報が無い・ノイズが多い場合でも頑健な3D再構成を実現する。

2. 先行研究と比べてどこがすごい?

既存のGaussian splattingによる変形可能3D解剖再構成はオフライン処理が主流で、正確なカメラ軌道の事前情報(多くの場合ロボットのキネマティクスから取得)に依存しており、事前情報が欠落・ノイズを含む場合に適用が制限される。Track2Mapはオンラインで軌道とシーンを同時最適化するため、事前情報が無い・ノイズがある場合でも動作し、SLAMとして機能する点が新しい。

3. 技術・手法の肝は?

手法の肝は、密な2D点トラックを用いたトラックアンカー変形初期化(track-anchored deformation initialization)により、組織の動きや視覚的手がかりの曖昧さの中でも最適化を安定化させる点。さらに、トラック統計を利用して静止カメラ期間を検出し、カメラ運動とシーン変形を分離することで、インクリメンタルマッピング中のドリフトを低減する。

4. どうやって有効だと検証した?

StereoMISデータセットを用いた実験で、再構成品質とカメラ軌道精度を、競合するSLAM手法およびカメラ軌道事前情報を利用する非SLAM手法と比較して改善したことを示した。

5. 議論はある?

要旨からは、限界や議論についての詳細は不明。ただし、オンライン処理と変形シーンの同時最適化は計算コストや収束性に課題がある可能性が考えられるが、要旨では言及されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、Gaussian splattingによる変形可能3D再構成のオフライン手法、およびSLAM手法が挙げられる。具体的には、3D Gaussian Splattingの元論文や、変形可能シーン向けのGaussian Splatting拡張、ロボット手術における従来のSLAM手法(例: モノキュラーSLAMやステレオSLAM)が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianyi Song, Sierra Bonilla, Xinwei Ju, Evangelos Mazomenos, Danail Stoyanov, Adam Schmidt, Omid Mohareri, Sophia Bano, Francisco Vasconcelos

分類: cs.CV, cs.AI

原文アブストラクト

Gaussian splatting is the current state-of-the-art for dense, deformable 3D anatomy reconstruction in robot-assisted minimally invasive surgery (RAMIS); however, most pipelines are offline and depend on accurate camera trajectory priors (often from robotic kinematics), limiting applicability when priors are missing or noisy. To address these limitations, we propose Track2Map, an online 3D Gaussian Splatting pipeline that jointly optimizes camera trajectory and 3D deformable scene representation directly from surgical video. Track2Map is therefore capable of robust 3D reconstructions when camera trajectory priors are either absent or noisy, and due to its online nature it effectively works as a Simultaneous Localisation and Mapping (SLAM) method. To stabilize optimization in the presence of tissue motion and ambiguous visual cues, we introduce a track-anchored deformation initialization using dense 2D point tracks. Track statistics are further utilized to disentangle camera motion from scene deformation by detecting static camera periods and reducing drift during incremental mapping. Experiments on StereoMIS show improved reconstruction quality and camera trajectory against competing SLAM methods, as well as compared to non-SLAM methods that utilize camera trajectory priors. The code is available at https://track2map.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI