日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セマンティックセグメンテーションarXiv:2506.17869

実時間RGB-熱画像セマンティックセグメンテーションのためのクロスモーダル状態空間モデリング

Cross-modal State Space Modeling for Real-time RGB-thermal Wild Scene Semantic Segmentation

シェア:XThreadsFacebookLINEはてブBluesky

RGBと熱画像を統合する際の計算コストを抑えるため、クロスモーダル状態空間モデル(CM-SSM)を提案し、野外環境でのセマンティックセグメンテーションを高精度かつ低計算量で実現した。

詳しい要約

1. どんなもの?

- RGB と thermal の2モダリティを統合する RGB-thermal semantic segmentation のための効率的アーキテクチャ CM-SSM を提案した研究。 - 野外環境で活動する field robots の資源制約下でのリアルタイム運用を狙う。 - cross-modal state space modeling (SSM) を中核に据える点が特徴。

2. 先行研究と比べてどこがすごい?

- Transformer ベースの multi-source data processing は計算オーバーヘッドが大きく、資源制約システムで問題となる。 - CM-SSM は画像解像度に対して線形計算量を達成し、Transformer 系より低コスト。 - CART dataset で fewer parameters・lower computational cost で state-of-the-art 性能を報告。

3. 技術・手法の肝は?

- 2つの主要モジュールから構成。 - cross-modal 2D-selective-scan (CM-SS2D): RGB と thermal 間の SSM を構築し、cross-modal visual sequences を構成、一方のモダリティから他方の hidden state representations を導出。 - cross-modal state space association (CM-SSA): CM-SS2D の global associations と畳み込みで抽出した local spatial features を統合。

4. どうやって有効だと検証した?

- CART dataset での実験により state-of-the-art 性能を、より少ないパラメータと低計算コストで達成したと報告。 - PST900 dataset での追加実験により generalizability を示した。 - コード公開あり (https://github.com/xiaodonguo/CMSSM)。

5. 議論はある?

- 要旨からは不明。 - 明示されているのは Transformer 系との計算量比較(線形 vs 高コスト)と2データセットでの性能・汎化性の主張まで。 - 限界や失敗事例、リアルタイム性の実機評価に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- Transformer ベースの RGB-thermal semantic segmentation 手法(要旨で比較対象として言及)。 - state space model 系の基礎手法(例: S4, Mamba など同分野の定番)。 - CART dataset および PST900 dataset を用いた関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaodong Guo, Zi'ang Lin, Luwen Hu, Zhihong Deng, Tong Liu, Wujie Zhou

分類: cs.CV, cs.RO

原文アブストラクト

The integration of RGB and thermal data can significantly improve semantic segmentation performance in wild environments for field robots. Nevertheless, multi-source data processing (e.g. Transformer-based approaches) imposes significant computational overhead, presenting challenges for resource-constrained systems. To resolve this critical limitation, we introduced CM-SSM, an efficient RGB-thermal semantic segmentation architecture leveraging a cross-modal state space modeling (SSM) approach. Our framework comprises two key components. First, we introduced a cross-modal 2D-selective-scan (CM-SS2D) module to establish SSM between RGB and thermal modalities, which constructs cross-modal visual sequences and derives hidden state representations of one modality from the other. Second, we developed a cross-modal state space association (CM-SSA) module that effectively integrates global associations from CM-SS2D with local spatial features extracted through convolutional operations. In contrast with Transformer-based approaches, CM-SSM achieves linear computational complexity with respect to image resolution. Experimental results show that CM-SSM achieves state-of-the-art performance on the CART dataset with fewer parameters and lower computational cost. Further experiments on the PST900 dataset demonstrate its generalizability. Codes are available at https://github.com/xiaodonguo/CMSSM.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI