補助教師付き敵対的学習によるロボット手術のリアルタイム器具セグメンテーション
Real-Time Instrument Segmentation in Robotic Surgery using Auxiliary Supervised Deep Adversarial Learning
商用ロボット手術システムの高解像度映像から手術器具をリアルタイムにセグメンテーションする軽量CNNを開発し、補助損失と敵対的損失を組み合わせて精度を向上させた。
著者: Mobarakol Islam, Daniel A. Atputharuban, Ravikiran Ramesh, Hongliang Ren
分類: cs.CV, cs.RO, eess.IV
原文アブストラクト
Robot-assisted surgery is an emerging technology which has undergone rapid growth with the development of robotics and imaging systems. Innovations in vision, haptics and accurate movements of robot arms have enabled surgeons to perform precise minimally invasive surgeries. Real-time semantic segmentation of the robotic instruments and tissues is a crucial step in robot-assisted surgery. Accurate and efficient segmentation of the surgical scene not only aids in the identification and tracking of instruments but also provided contextual information about the different tissues and instruments being operated with. For this purpose, we have developed a light-weight cascaded convolutional neural network (CNN) to segment the surgical instruments from high-resolution videos obtained from a commercial robotic system. We propose a multi-resolution feature fusion module (MFF) to fuse the feature maps of different dimensions and channels from the auxiliary and main branch. We also introduce a novel way of combining auxiliary loss and adversarial loss to regularize the segmentation model. Auxiliary loss helps the model to learn low-resolution features, and adversarial loss improves the segmentation prediction by learning higher order structural information. The model also consists of a light-weight spatial pyramid pooling (SPP) unit to aggregate rich contextual information in the intermediate stage. We show that our model surpasses existing algorithms for pixel-wise segmentation of surgical instruments in both prediction accuracy and segmentation time of high-resolution videos.
関連論文
- 前立腺手術ファントムのための解剖学的知識誘導型CT三次元セグメンテーションパイプライン医療画像セグメンテーション
- SIRA: クエリ基準アライメントによる推論対応手術器具セグメンテーション医療画像セグメンテーション
- 視覚特性事前分布による手術器具セグメンテーションの個人化フェデレーテッド学習医療画像セグメンテーション
- Surgical SAM 2: 効率的なフレーム枝刈りによる手術動画のリアルタイムセグメンテーション医療画像セグメンテーション
- ロボット支援心血管カテーテル治療におけるツールセグメンテーションのための多方向デコーダ分岐による弱教師あり学習医療画像セグメンテーション
- 超音波画像における針の動きを考慮したセグメンテーション医療画像セグメンテーション
