注意誘導型軽量ネットワークによる手術器具のリアルタイムセグメンテーション
Attention-Guided Lightweight Network for Real-Time Segmentation of Robotic Surgical Instruments
MobileNetV2と注意融合ブロックを組み合わせた軽量ネットワークLWANetを提案し、手術器具のリアルタイムセグメンテーションを低計算コストで高精度に実現した。
著者: Zhen-Liang Ni, Gui-Bin Bian, Zeng-Guang Hou, Xiao-Hu Zhou, Xiao-Liang Xie, Zhen Li
分類: cs.CV, cs.RO
原文アブストラクト
The real-time segmentation of surgical instruments plays a crucial role in robot-assisted surgery. However, it is still a challenging task to implement deep learning models to do real-time segmentation for surgical instruments due to their high computational costs and slow inference speed. In this paper, we propose an attention-guided lightweight network (LWANet), which can segment surgical instruments in real-time. LWANet adopts encoder-decoder architecture, where the encoder is the lightweight network MobileNetV2, and the decoder consists of depthwise separable convolution, attention fusion block, and transposed convolution. Depthwise separable convolution is used as the basic unit to construct the decoder, which can reduce the model size and computational costs. Attention fusion block captures global contexts and encodes semantic dependencies between channels to emphasize target regions, contributing to locating the surgical instrument. Transposed convolution is performed to upsample feature maps for acquiring refined edges. LWANet can segment surgical instruments in real-time while takes little computational costs. Based on 960*544 inputs, its inference speed can reach 39 fps with only 3.39 GFLOPs. Also, it has a small model size and the number of parameters is only 2.06 M. The proposed network is evaluated on two datasets. It achieves state-of-the-art performance 94.10% mean IOU on Cata7 and obtains a new record on EndoVis 2017 with a 4.10% increase on mean IOU.
関連論文
- 前立腺手術ファントムのための解剖学的知識誘導型CT三次元セグメンテーションパイプライン医療画像セグメンテーション
- SIRA: クエリ基準アライメントによる推論対応手術器具セグメンテーション医療画像セグメンテーション
- 視覚特性事前分布による手術器具セグメンテーションの個人化フェデレーテッド学習医療画像セグメンテーション
- Surgical SAM 2: 効率的なフレーム枝刈りによる手術動画のリアルタイムセグメンテーション医療画像セグメンテーション
- ロボット支援心血管カテーテル治療におけるツールセグメンテーションのための多方向デコーダ分岐による弱教師あり学習医療画像セグメンテーション
- 超音波画像における針の動きを考慮したセグメンテーション医療画像セグメンテーション
