FarSee-Net:効率的なマルチスケール文脈集約と特徴空間超解像によるリアルタイム意味セグメンテーション
FarSee-Net: Real-Time Semantic Segmentation by Efficient Multi-scale Context Aggregation and Feature Space Super-resolution
軽量なCF-ASPPモジュールと超解像ベースのアップサンプリングを組み合わせ、限られた計算資源でも高精度かつリアルタイムに動作する意味セグメンテーション手法を提案した論文。
著者: Zhanpeng Zhang, Kaipeng Zhang
分類: cs.CV, cs.RO
原文アブストラクト
Real-time semantic segmentation is desirable in many robotic applications with limited computation resources. One challenge of semantic segmentation is to deal with the object scale variations and leverage the context. How to perform multi-scale context aggregation within limited computation budget is important. In this paper, firstly, we introduce a novel and efficient module called Cascaded Factorized Atrous Spatial Pyramid Pooling (CF-ASPP). It is a lightweight cascaded structure for Convolutional Neural Networks (CNNs) to efficiently leverage context information. On the other hand, for runtime efficiency, state-of-the-art methods will quickly decrease the spatial size of the inputs or feature maps in the early network stages. The final high-resolution result is usually obtained by non-parametric up-sampling operation (e.g. bilinear interpolation). Differently, we rethink this pipeline and treat it as a super-resolution process. We use optimized super-resolution operation in the up-sampling step and improve the accuracy, especially in sub-sampled input image scenario for real-time applications. By fusing the above two improvements, our methods provide better latency-accuracy trade-off than the other state-of-the-art methods. In particular, we achieve 68.4% mIoU at 84 fps on the Cityscapes test set with a single Nivida Titan X (Maxwell) GPU card. The proposed module can be plugged into any feature extraction CNN and benefits from the CNN structure development.
関連論文
- インスタンス誘導によるロボット意味セグメンテーションのための教師なしドメイン適応意味セグメンテーション
- COARSE: 粗い実ラベルを用いた協調的疑似ラベリングによるオフロード意味セグメンテーション意味セグメンテーション
- ハイパースペクトル画像を用いた非構造・未知環境マッピングのためのリアルタイム意味セグメンテーション意味セグメンテーション
- RGBDセンシングによる意味セグメンテーションのための逐次的クラス発見意味セグメンテーション
- 強化学習による屋内シーンの意味セグメンテーション意味セグメンテーション
