日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

医療ロボティクス/深度推定arXiv:2506.16017

EndoMUST: 内視鏡ロボットのための単眼深度推定と多段階自己教師あり学習

EndoMUST: Monocular Depth Estimation for Robotic Endoscopy via End-to-end Multi-step Self-supervised Training

シェア:XThreadsFacebookLINEはてブBluesky

内視鏡画像の単眼深度推定を高精度化するため、オプティカルフロー・外観フロー・画像分解を段階的に学習する自己教師ありフレームワークを提案し、SCAREDとHamlynで誤差を4〜10%低減した。

詳しい要約

1. どんなもの?

- ロボット支援内視鏡のための単眼深度推定と ego-motion 推定のフレームワーク - 名前は EndoMUST - 自己教師あり学習による単眼深度推定を対象 - 内視鏡シーンの照明変動や疎なテクスチャに対処することを狙う - end-to-end の multi-step self-supervised training を採用 - 評価コードを GitHub で公開

2. 先行研究と比べてどこがすごい?

- 既存手法は optical flow、appearance flow、intrinsic image decomposition などを導入して照明変動や疎テクスチャに対処 - しかし複数モジュールの効果的な学習戦略が課題として残っていた - 本研究は multistep efficient finetuning の枠組みを提案 - 照明問題と情報干渉の両方に対処する点が特徴 - SCARED での自己教師あり深度推定と Hamlyn での zero-shot 深度推定で state-of-the-art を達成 - 誤差が 4%〜10% 低減

3. 技術・手法の肝は?

- end-to-end 学習の各 epoch を 3 ステップに分割 - optical flow registration - multiscale image decomposition - multiple transformation alignments - 各ステップでは関連するネットワークのみを学習し、無関係な情報の干渉を避ける - foundation model に対する parameter-efficient finetuning を基盤とする - 詳細なネットワーク構成や損失関数は要旨からは不明

4. どうやって有効だと検証した?

- SCARED dataset 上で自己教師あり深度推定を評価 - Hamlyn dataset 上で zero-shot 深度推定を評価 - いずれも state-of-the-art 性能を達成 - 誤差が 4%〜10% 低いと報告 - 評価コードを GitHub で公開 - 具体的な比較手法や指標の詳細は要旨からは不明

5. 議論はある?

- 照明変動と疎テクスチャに対する有効性を主張 - 複数モジュールの学習干渉をステップ分割で緩和する設計 - ただし各ステップの分離が最適か、計算コストや収束性への影響は要旨からは不明 - foundation model への依存度や汎化性の議論は要旨からは不明 - 限界や失敗事例についての記述は要旨からは不明

6. 次に読むべき論文は?

- optical flow を用いた自己教師あり内視鏡深度推定の関連研究 - appearance flow や intrinsic image decomposition を導入した内視鏡深度推定手法 - SCARED dataset を用いた深度推定の比較研究 - Hamlyn dataset での zero-shot 深度推定研究 - parameter-efficient finetuning を用いた foundation model 適応の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Liangjing Shao, Linxin Bai, Chenkang Du, Xinrong Chen

分類: cs.CV, cs.RO

原文アブストラクト

Monocular depth estimation and ego-motion estimation are significant tasks for scene perception and navigation in stable, accurate and efficient robot-assisted endoscopy. To tackle lighting variations and sparse textures in endoscopic scenes, multiple techniques including optical flow, appearance flow and intrinsic image decomposition have been introduced into the existing methods. However, the effective training strategy for multiple modules are still critical to deal with both illumination issues and information interference for self-supervised depth estimation in endoscopy. Therefore, a novel framework with multistep efficient finetuning is proposed in this work. In each epoch of end-to-end training, the process is divided into three steps, including optical flow registration, multiscale image decomposition and multiple transformation alignments. At each step, only the related networks are trained without interference of irrelevant information. Based on parameter-efficient finetuning on the foundation model, the proposed method achieves state-of-the-art performance on self-supervised depth estimation on SCARED dataset and zero-shot depth estimation on Hamlyn dataset, with 4\%$\sim$10\% lower error. The evaluation code of this work has been published on https://github.com/BaymaxShao/EndoMUST.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI