SAMはロボット手術に使えるか?ロバスト性の実証研究
SAM Meets Robotic Surgery: An Empirical Study in Robustness Perspective
ロボット手術の器具セグメンテーションにおいて、SAMのゼロショット汎化性能とロバスト性を様々な設定で評価し、バウンディングボックスプロンプトでは有効だが点プロンプトや複雑な手術シーンでは不十分であることを示した。
著者: An Wang, Mobarakol Islam, Mengya Xu, Yang Zhang, Hongliang Ren
分類: eess.IV, cs.CV, cs.RO
原文アブストラクト
Segment Anything Model (SAM) is a foundation model for semantic segmentation and shows excellent generalization capability with the prompts. In this empirical study, we investigate the robustness and zero-shot generalizability of the SAM in the domain of robotic surgery in various settings of (i) prompted vs. unprompted; (ii) bounding box vs. points-based prompt; (iii) generalization under corruptions and perturbations with five severity levels; and (iv) state-of-the-art supervised model vs. SAM. We conduct all the observations with two well-known robotic instrument segmentation datasets of MICCAI EndoVis 2017 and 2018 challenges. Our extensive evaluation results reveal that although SAM shows remarkable zero-shot generalization ability with bounding box prompts, it struggles to segment the whole instrument with point-based prompts and unprompted settings. Furthermore, our qualitative figures demonstrate that the model either failed to predict the parts of the instrument mask (e.g., jaws, wrist) or predicted parts of the instrument as different classes in the scenario of overlapping instruments within the same bounding box or with the point-based prompt. In fact, it is unable to identify instruments in some complex surgical scenarios of blood, reflection, blur, and shade. Additionally, SAM is insufficiently robust to maintain high performance when subjected to various forms of data corruption. Therefore, we can argue that SAM is not ready for downstream surgical tasks without further domain-specific fine-tuning.
関連論文
- 私のマグカップはどこ?個人化画像セグメンテーションのための学習不要フレームワークセグメンテーション
- OWL関数によるカメラ運動下での移動物体セグメンテーションセグメンテーション
- KiRoSe: ロボット実演の効率的なセグメンテーションのための運動学データ活用セグメンテーション
- 適応すべき時: オープンボキャブラリセグメンテーションにおける効率的な訓練不要適応のためのマルチシグナルドメインシフト検出セグメンテーション
- SAM-V: マルチビューインスタンスセグメンテーションのための幾何認識型Segment Anythingセグメンテーション
- DropClick: 農業ロボットデータのための半自動ワンクリックセグメンテーションセグメンテーション
