高速かつ高精度なシーン解析のためのセマンティックフロー
Semantic Flow for Fast and Accurate Scene Parsing
光流の考え方を応用し、隣接する特徴マップ間のセマンティックフローを学習するFlow Alignment Moduleを提案。軽量バックボーンでも高解像度特徴を効率的に統合し、Cityscapesで26FPS・80.4% mIoUを達成した高速高精度なシーン解析手法。
著者: Xiangtai Li, Ansheng You, Zhen Zhu, Houlong Zhao, Maoke Yang, Kuiyuan Yang, Yunhai Tong
分類: cs.CV, cs.RO
原文アブストラクト
In this paper, we focus on designing effective method for fast and accurate scene parsing. A common practice to improve the performance is to attain high resolution feature maps with strong semantic representation. Two strategies are widely used -- atrous convolutions and feature pyramid fusion, are either computation intensive or ineffective. Inspired by the Optical Flow for motion alignment between adjacent video frames, we propose a Flow Alignment Module (FAM) to learn Semantic Flow between feature maps of adjacent levels, and broadcast high-level features to high resolution features effectively and efficiently. Furthermore, integrating our module to a common feature pyramid structure exhibits superior performance over other real-time methods even on light-weight backbone networks, such as ResNet-18. Extensive experiments are conducted on several challenging datasets, including Cityscapes, PASCAL Context, ADE20K and CamVid. Especially, our network is the first to achieve 80.4\% mIoU on Cityscapes with a frame rate of 26 FPS. The code is available at \url{https://github.com/lxtGH/SFSegNets}.
関連論文
- 高解像度深度と超低解像度RGBによるプライバシー保護セマンティックセグメンテーションセマンティックセグメンテーション
- CLFTv2: 階層的特徴ピラミッドによる効率的なカメラ-LiDAR融合セマンティックセグメンテーションセマンティックセグメンテーション
- Contextrast++: セマンティックセグメンテーションのためのロバストなマルチスケール文脈対比学習セマンティックセグメンテーション
- ICRA 2026 GOOSE 2D細粒度セマンティックセグメンテーションチャレンジ技術報告:フィールドロボティクスにおける堅牢な屋外シーン理解のためのDINOv3活用セマンティックセグメンテーション
- ICRA 2026 GOOSE 2D細粒度セマンティックセグメンテーションチャレンジ技術報告:屋外シーン理解のためのクエリベースセグメンテーションと空間コンテキスト拡大の探求セマンティックセグメンテーション
- Invascal: 不確実性を考慮したLiDARレンジビューセマンティックセグメンテーションのための逆空孔自己校正セマンティックセグメンテーション
