日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

医療ロボティクスarXiv:2610.02343

SCOPE-4D: 内視鏡4D幾何学基盤モデル

SCOPE-4D: Endoscopic 4D Geometry Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

単眼RGB動画からカメラパラメータ・密な形状・3D組織軌跡を一度に予測する内視鏡4D幾何学基盤モデルを提案し、大規模データセットSCOPE-5Kで学習することで高精度な形状推定と3D追跡を実現した。

詳しい要約

1. どんなもの?

- 内視鏡の4D幾何基盤モデルSCOPE-4Dを提案。 - 単眼RGB動画からカメラパラメータ、密な幾何、3D組織軌跡を1回のforward passで同時予測。 - 約5,000クリップのSCOPE-5Kを構築し、実・合成の消化器内視鏡と腹腔鏡を含む。 - 新規phantomとreal-colonoscopy評価セットも含む。

2. 先行研究と比べてどこがすごい?

- 従来は幾何アノテーション不足とカメラ運動・組織変形の曖昧性が課題。 - SCOPE-5Kの大規模幾何監督により内視鏡priorを学習し、カメラ・深度推定を改善。 - CRMと軌跡監督を併用し、幾何微調整単独よりカメラ・深度推定を向上。 - 密な3D組織追跡を可能にし、公開・新規ベンチマークでin-domain/out-of-domain幾何、3D追跡、長系列大腸再構成の安定性で優位。

3. 技術・手法の肝は?

- SCOPE-4Dは単一forwardでカメラパラメータ、密な幾何、3D組織軌跡を予測。 - SCOPE-5Kのキュレーション・アノテーションパイプラインで豊富な幾何監督を提供。 - 幾何 supervised fine-tuningで内視鏡priorを学習。 - Common-Residual Motion (CRM)が共通組織運動に対する局所変形を制約。 - 幾何監督、CRM、軌跡監督を組み合わせ。

4. どうやって有効だと検証した?

- 公開ベンチマークと新規収集ベンチマークで評価。 - in-domain/out-of-domain幾何、3D追跡、長系列大腸再構成の安定性を検証。 - 盲検ユーザスタディで実臨床ビデオの再構成品質を支持。 - 幾何微調整単独との比較でCRMと軌跡監督の追加効果を確認。

5. 議論はある?

- 大規模内視鏡監督と運動制約が幾何推定と組織追跡に有効と示唆。 - 限界や失敗例、計算コスト、一般化の範囲は要旨からは不明。 - 臨床応用への課題や倫理的考慮は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番としてendoscopic depth estimation、SLAM、non-rigid structure from motion、tissue trackingの関連論文を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chaoyi Zhou, Zhongpai Gao, Anwesa Choudhuri, Meng Zheng, Benjamin Planche, Run Wang, Terrence Chen, Siyu Huang, Ziyan Wu

分類: cs.CV

原文アブストラクト

Geometric understanding supports endoscopic navigation and robotic assistance, but learning reliable endoscopic geometry faces two challenges: scarce geometric annotations and ambiguity between camera motion and tissue deformation. We present SCOPE-4D, an endoscopic 4D geometry foundation model that jointly predicts camera parameters, dense geometry, and 3D tissue trajectories from monocular RGB video in a single forward pass. Our curation and annotation pipeline constructs SCOPE-5K, a collection of approximately 5,000 clips spanning real and synthetic gastrointestinal endoscopy and laparoscopy. The collection provides rich geometric supervision and includes newly collected phantom and real-colonoscopy evaluation sets. Geometric supervised fine-tuning on SCOPE-5K learns endoscopic priors that improve camera and depth estimation. Common--Residual Motion (CRM) further constrains local deformation relative to common tissue movement. Together with geometric supervision, CRM and trajectory supervision further improve camera and depth estimation over geometric fine-tuning alone while enabling dense 3D tissue tracking. Evaluations on public and newly collected benchmarks demonstrate strong in-domain and out-of-domain geometry, superior 3D tracking, and more stable long-sequence colon reconstruction. A blinded user study further supports the perceived reconstruction quality on real clinical video. Together, these results demonstrate the value of large-scale endoscopic supervision and motion constraints for joint geometry estimation and tissue tracking.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI