日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手術シーン再構成arXiv:2602.18314

Diff2DGS: 2Dガウシアンスプラッティングによる遮蔽された手術シーンの信頼性の高い再構成

Diff2DGS: Reliable Reconstruction of Occluded Surgical Scenes via 2D Gaussian Splatting

シェア:XThreadsFacebookLINEはてブBluesky

器具で隠れた組織を拡散モデルで補完し、2Dガウシアンスプラッティングと学習可能な変形モデルで動的な手術シーンを高精度に3D再構成する手法を提案した。

詳しい要約

1. どんなもの?

- 手術シーンの変形可能な3D再構成を目的としたフレームワーク - 2段階構成: 拡散ベースの動画inpaintingと2D Gaussian Splatting (2DGS) - 遮蔽された組織を器具から補完し、動的変形を捉える - リアルタイム性能を目指す - EndoNeRFとStereoMISで評価、SCAREDで深度定量分析

2. 先行研究と比べてどこがすごい?

- 従来のda Vinci手術動画からのGaussian Splatting (GS) は遮蔽領域の再構成品質が限定的 - 既存ベンチマーク(EndoNeRF, StereoMIS)は3D ground truthがなく深度精度未評価 - Diff2DGSは遮蔽補完と動的変形を統合し、外観と幾何の両方でSOTAを達成 - EndoNeRFで38.02 dB PSNR、StereoMISで34.40 dB PSNR - 画像品質最適化だけでは正確な3D幾何を保証しないことを示す

3. 技術・手法の肝は?

- 第1段階: 時間的priorを持つ拡散ベース動画モジュールで器具に遮蔽された組織をinpaint - 高い時空間一貫性を実現 - 第2段階: 2D Gaussian Splatting (2DGS) にLearnable Deformation Model (LDM) を適応 - 動的な組織変形と解剖学的幾何を捉える - adaptive depth weightを導入し幾何忠実度を向上

4. どうやって有効だと検証した?

- EndoNeRFとStereoMISで外観と幾何の両面でSOTAと比較 - PSNR: EndoNeRF 38.02 dB、StereoMIS 34.40 dB - SCAREDデータセットで定量的深度分析を実施 - 画像品質指標を超えた評価を拡張 - 画像品質最適化が3D幾何精度を保証しないことを実験で示す

5. 議論はある?

- 遮蔽領域の再構成品質と深度精度が従来課題 - 既存ベンチマークに3D ground truthがない制約 - 画像品質と幾何精度の不一致を指摘 - 詳細な議論や限界は要旨からは不明

6. 次に読むべき論文は?

- EndoNeRF (ベンチマーク) - StereoMIS (ベンチマーク) - SCARED (データセット) - Gaussian Splatting (GS) 関連手法 - 2D Gaussian Splatting (2DGS) - Learnable Deformation Model (LDM) - 拡散ベース動画inpainting手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianyi Song, Danail Stoyanov, Evangelos Mazomenos, Francisco Vasconcelos

分類: cs.CV, cs.GR, cs.RO

原文アブストラクト

Real-time reconstruction of deformable surgical scenes is vital for advancing robotic surgery, improving intraoperative guidance, and enabling automation. Recent methods achieve dense reconstructions from da Vinci robotic surgery videos, with Gaussian Splatting (GS) offering real-time performance via graphics acceleration. However, reconstruction quality in occluded regions remains limited, and depth accuracy has not been fully assessed, as benchmarks like EndoNeRF and StereoMIS lack 3D ground truth. We propose Diff2DGS, a two-stage framework for reliable 3D reconstruction of occluded surgical scenes. First, a diffusion-based video module with temporal priors inpaints tissue occluded by instruments with high spatiotemporal consistency. Second, we adapt 2D Gaussian Splatting (2DGS) with a Learnable Deformation Model (LDM) to capture dynamic tissue deformation and anatomical geometry, and introduce adaptive depth weight to improve geometric fidelity. We further extend evaluation beyond image-quality metrics by performing quantitative depth analysis on the SCARED dataset. Diff2DGS outperforms state-of-the-art methods in both appearance and geometry, reaching 38.02 dB PSNR on EndoNeRF and 34.40 dB on StereoMIS. Our experiments also show that optimizing image quality alone does not necessarily ensure accurate 3D geometry.The code is available at https://diff2dgs.github.io/.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI