日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

4D再構成/内視鏡arXiv:2510.23087

EndoWave: 内視鏡再構成のための有理ウェーブレット4Dガウススプラッティング

EndoWave: Rational-Wavelet 4D Gaussian Splatting for Endoscopic Reconstruction

シェア:XThreadsFacebookLINEはてブBluesky

内視鏡動画から非剛体組織の3D再構成を行うため、オプティカルフローによる幾何制約と多解像度有理ウェーブレットを組み込んだ4Dガウススプラッティング手法を提案し、手術データセットで高精度な再構成を実現した。

詳しい要約

1. どんなもの?

- ロボット支援低侵襲手術の内視鏡動画から3D再構成を行う手法「EndoWave」 - 4D Gaussian Splatting (3DGS) ベースの統合時空間フレームワーク - 光学的流れ (optical flow) 由来の幾何制約と multi-resolution rational wavelet 監督を導入 - 対象課題: photometric inconsistencies、非剛体組織運動、視点依存ハイライト - 実手術データセット EndoNeRF と StereoMIS で評価

2. 先行研究と比べてどこがすごい?

- 外観制約のみで3DGSを最適化する既存手法は、動的な視覚アーティファクトで最適化が誤誘導され再構成が不正確になりやすい - EndoWave は幾何制約と wavelet 監督を併用し、時間的一貫性と描画性能を改善 - 2つの実手術データセットで baseline 比 state-of-the-art の再構成品質・視覚精度を達成(要旨による)

3. 技術・手法の肝は?

- 4D 領域でプリミティブを直接最適化する unified spatio-temporal Gaussian representation - optical flow から導出した幾何制約で時間的一貫性と3D構造を拘束 - multi-resolution rational orthogonal wavelet を制約として使用し、内視鏡の細部を分離して描画性能を向上

4. どうやって有効だと検証した?

- EndoNeRF と StereoMIS の2つの実手術データセットで広範に評価 - baseline 手法と比較し、再構成品質と視覚精度で state-of-the-art を達成したと報告 - 具体的な指標・数値は要旨からは不明

5. 議論はある?

- photometric inconsistencies、非剛体運動、視点依存ハイライトが外観制約ベース最適化を誤らせる点を動機として議論 - 幾何制約と wavelet 監督でこれらに対処する設計 - 限界や失敗ケース、計算コスト等の詳細は要旨からは不明

6. 次に読むべき論文は?

- 比較対象の baseline である 3DGS ベース内視鏡再構成手法(EndoNeRF 系) - EndoNeRF データセット論文 - StereoMIS データセット論文 - optical flow を用いた幾何制約の関連研究 - rational wavelet / multi-resolution wavelet を用いた正則化の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Taoyu Wu, Yiyi Miao, Jiaxin Guo, Ziyan Chen, Sihang Zhao, Zhuoxiao Li, Zhe Tang, Baoru Huang, Limin Yu

分類: cs.CV, cs.RO

原文アブストラクト

In robot-assisted minimally invasive surgery, accurate 3D reconstruction from endoscopic video is vital for downstream tasks and improved outcomes. However, endoscopic scenarios present unique challenges, including photometric inconsistencies, non-rigid tissue motion, and view-dependent highlights. Most 3DGS-based methods that rely solely on appearance constraints for optimizing 3DGS are often insufficient in this context, as these dynamic visual artifacts can mislead the optimization process and lead to inaccurate reconstructions. To address these limitations, we present EndoWave, a unified spatio-temporal Gaussian Splatting framework by incorporating an optical flow-based geometric constraint and a multi-resolution rational wavelet supervision. First, we adopt a unified spatio-temporal Gaussian representation that directly optimizes primitives in a 4D domain. Second, we propose a geometric constraint derived from optical flow to enhance temporal coherence and effectively constrain the 3D structure of the scene. Third, we propose a multi-resolution rational orthogonal wavelet as a constraint, which can effectively separate the details of the endoscope and enhance the rendering performance. Extensive evaluations on two real surgical datasets, EndoNeRF and StereoMIS, demonstrate that our method EndoWave achieves state-of-the-art reconstruction quality and visual accuracy compared to the baseline method.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI