信頼できない特徴量に対応する適応マスク融合ネットワークによる走行可能道路と負障害物のセグメンテーション
Adaptive-Mask Fusion Network for Segmentation of Drivable Road and Negative Obstacle With Untrustworthy Features
深度画像の無効領域から抽出される信頼できない特徴量がマルチモーダル融合の性能を低下させる問題に対し、適応重みマスクを導入したAMFNetを提案し、大規模RGB-Dデータセットを公開した。
著者: Zhen Feng, Yuchao Feng, Yanning Guo, Yuxiang Sun
分類: cs.CV, cs.RO
原文アブストラクト
Segmentation of drivable roads and negative obstacles is critical to the safe driving of autonomous vehicles. Currently, many multi-modal fusion methods have been proposed to improve segmentation accuracy, such as fusing RGB and depth images. However, we find that when fusing two modals of data with untrustworthy features, the performance of multi-modal networks could be degraded, even lower than those using a single modality. In this paper, the untrustworthy features refer to those extracted from regions (e.g., far objects that are beyond the depth measurement range) with invalid depth data (i.e., 0 pixel value) in depth images. The untrustworthy features can confuse the segmentation results, and hence lead to inferior results. To provide a solution to this issue, we propose the Adaptive-Mask Fusion Network (AMFNet) by introducing adaptive-weight masks in the fusion module to fuse features from RGB and depth images with inconsistency. In addition, we release a large-scale RGB-depth dataset with manually-labeled ground truth based on the NPO dataset for drivable roads and negative obstacles segmentation. Extensive experimental results demonstrate that our network achieves state-of-the-art performance compared with other networks. Our code and dataset are available at: https://github.com/lab-sun/AMFNet.
関連論文
- 私のマグカップはどこ?個人化画像セグメンテーションのための学習不要フレームワークセグメンテーション
- OWL関数によるカメラ運動下での移動物体セグメンテーションセグメンテーション
- KiRoSe: ロボット実演の効率的なセグメンテーションのための運動学データ活用セグメンテーション
- 適応すべき時: オープンボキャブラリセグメンテーションにおける効率的な訓練不要適応のためのマルチシグナルドメインシフト検出セグメンテーション
- SAM-V: マルチビューインスタンスセグメンテーションのための幾何認識型Segment Anythingセグメンテーション
- DropClick: 農業ロボットデータのための半自動ワンクリックセグメンテーションセグメンテーション
