日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セグメンテーションarXiv:2602.07343

言葉を通して道路を見る:言語誘導型RGB-T走行シーンセグメンテーション

Seeing Roads Through Words: A Language-Guided Framework for RGB-T Driving Scene Segmentation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルの事前知識を活用し、照明条件に応じてRGBと熱画像の融合戦略を動的に切り替える走行シーンセグメンテーション手法を提案し、MFNetでSOTAを達成した。

詳しい要約

1. どんなもの?

- 提案手法: CLARITY - RGB-Thermal fusion を用いた走行シーンセマンティックセグメンテーション - 悪照明・照明変化・影条件下でのロバスト性向上を目的 - VLM の prior を活用し、シーン条件に応じて融合戦略を動的に適応 - 対象データセット: MFNet - 達成性能: 62.3% mIoU, 77.5% mAcc (SOTA)

2. 先行研究と比べてどこがすごい?

- 既存手法: 静的な fusion 戦略を全条件に一律適用 - モダリティ固有のノイズがネットワーク全体に伝播 - 提案手法: 検出されたシーン条件に応じて融合戦略を動的に適応 - VLM prior に導かれ、照明状態に基づき各モダリティの寄与を変調 - 固定融合ポリシーではなく、オブジェクト埋め込みをセグメンテーションに活用 - 追加機構: 暗所物体の有効な意味を保持し、従来のノイズ抑制法が誤って捨てていた情報を維持 - 階層的デコーダ: スケール間の構造的一貫性を強制し、細い物体の境界を鮮明化

3. 技術・手法の肝は?

- VLM prior によるガイダンス - 照明状態に基づき各モダリティの寄与を動的に変調 - 動的 fusion 戦略 - シーン条件検出に応じて融合方法を適応 - オブジェクト埋め込みの活用 - セグメンテーションに利用 - 2つの機構 - 暗所物体の有効な意味を保持する機構 - 階層的デコーダによるスケール間構造一貫性の強制

4. どうやって有効だと検証した?

- データセット: MFNet で実験 - 結果: 62.3% mIoU, 77.5% mAcc を達成し、新たな SOTA を確立 - 比較対象やアブレーションの詳細は要旨からは不明

5. 議論はある?

- 既存手法の問題点: 静的 fusion によりモダリティ固有ノイズが伝播 - 提案手法の利点: 動的適応によりノイズ伝播を抑制 - 暗所物体の意味保持と境界鮮明化の重要性を指摘 - 限界や今後の課題については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 既存の RGB-Thermal fusion 手法(具体的名称は要旨からは不明) - 関連手法: VLM (Vision-Language Model) を活用したセグメンテーション - 同分野の定番: MFNet データセットを用いた手法、RGB-Thermal セマンティックセグメンテーション

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruturaj Reddy, Hrishav Bakul Barua, Junn Yong Loo, Thanh Thi Nguyen, Ganesh Krishnasamy

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

Robust semantic segmentation of road scenes under adverse illumination, lighting, and shadow conditions remain a core challenge for autonomous driving applications. RGB-Thermal fusion is a standard approach, yet existing methods apply static fusion strategies uniformly across all conditions, allowing modality-specific noise to propagate throughout the network. Hence, we propose CLARITY that dynamically adapts its fusion strategy to the detected scene condition. Guided by vision-language model (VLM) priors, the network learns to modulate each modality's contribution based on the illumination state while leveraging object embeddings for segmentation, rather than applying a fixed fusion policy. We further introduce two mechanisms - one which preserves valid dark-object semantics that prior noise-suppression methods incorrectly discard, and a hierarchical decoder that enforces structural consistency across scales to sharpen boundaries on thin objects. Experiments on the MFNet dataset demonstrate that CLARITY establishes a new state-of-the-art (SOTA), achieving 62.3% mIoU and 77.5% mAcc.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI