日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

センサフュージョンarXiv:2509.09828

DGFusion: 深度誘導型センサフュージョンによる堅牢な意味知覚

DGFusion: Depth-Guided Sensor Fusion for Robust Semantic Perception

シェア:XThreadsFacebookLINEはてブBluesky

LiDARの深度情報を活用し、シーン内の奥行きに応じてセンサ信頼度を動的に調整するマルチモーダル融合手法を提案。悪条件下でも高精度なセマンティック・パノプティックセグメンテーションを実現。

詳しい要約

1. どんなもの?

- 本論文は、自動運転車のためのロバストな意味知覚を実現する新しい深度誘導型マルチモーダル融合手法「DGFusion」を提案する。 - マルチモーダルセグメンテーションをマルチタスク問題として定式化し、lidar計測を入力の一つとしてだけでなく、深度学習のためのground truthとしても利用する。 - 深度ヘッドを補助的に用いて深度認識特徴を学習し、空間的に変化するローカル深度トークンとグローバル条件トークンを生成する。 - これらのトークンが注意機構に基づくクロスモーダル融合を条件付けし、シーン全体での各センサの信頼性の空間的変動に動的に適応する。 - 悪条件下でしばしば疎でノイズが多いlidar入力から学習するためのロバスト損失も提案する。

2. 先行研究と比べてどこがすごい?

- 最先端のセンサ融合による意味知覚手法は、入力の空間的範囲にわたってセンサデータを均一に扱うことが多く、厳しい条件下での性能が低下する問題があった。 - 提案手法は深度情報を統合することで条件認識型融合を強化し、深度に大きく依存する各センサの空間的に変化する信頼性に動的に適応する点が優れている。 - 従来の融合手法と比較して、深度誘導型のローカル深度トークンとグローバル条件トークンを用いることで、よりきめ細やかな融合が可能となった。 - 挑戦的なMUSESおよびDeLiVERデータセット上で、panopticおよびsemantic segmentationの最先端性能を達成した。

3. 技術・手法の肝は?

- DGFusionはマルチモーダルセグメンテーションをマルチタスク問題として扱い、lidar計測を入力および深度学習のground truthとして利用する。 - 補助的な深度ヘッドを設け、深度認識特徴を学習する。この特徴は空間的に変化するローカル深度トークンにエンコードされる。 - ローカル深度トークンとグローバル条件トークンを組み合わせ、注意機構に基づくクロスモーダル融合を条件付ける。 - これにより、シーン全体での各センサの信頼性の空間的変動(深度に大きく依存)に動的に適応する融合を実現する。 - さらに、疎でノイズの多いlidar入力から学習するためのロバスト損失を提案する。

4. どうやって有効だと検証した?

- 挑戦的なMUSESおよびDeLiVERデータセット上で評価を行い、panoptic segmentationおよびsemantic segmentationの性能を検証した。 - その結果、最先端の性能を達成したことを報告している。 - 具体的な比較手法や評価指標の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法として条件認識型融合やマルチモーダル融合の先行研究が挙げられる。 - 具体的な論文名は要旨からは不明。同分野の定番として、TransFuserやBEVFusionなどのセンサ融合手法が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tim Broedermannn, Christos Sakaridis, Luigi Piccinelli, Wim Abbeloos, Luc Van Gool

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

Robust semantic perception for autonomous vehicles relies on effectively combining multiple sensors with complementary strengths and weaknesses. State-of-the-art sensor fusion approaches to semantic perception often treat sensor data uniformly across the spatial extent of the input, which hinders performance when faced with challenging conditions. By contrast, we propose a novel depth-guided multimodal fusion method that upgrades condition-aware fusion by integrating depth information. Our network, DGFusion, poses multimodal segmentation as a multi-task problem, utilizing the lidar measurements, which are typically available in outdoor sensor suites, both as one of the model's inputs and as ground truth for learning depth. Our corresponding auxiliary depth head helps to learn depth-aware features, which are encoded into spatially varying local depth tokens that condition our attentive cross-modal fusion. Together with a global condition token, these local depth tokens dynamically adapt sensor fusion to the spatially varying reliability of each sensor across the scene, which largely depends on depth. In addition, we propose a robust loss for our depth, which is essential for learning from lidar inputs that are typically sparse and noisy in adverse conditions. Our method achieves state-of-the-art panoptic and semantic segmentation performance on the challenging MUSES and DeLiVER datasets. Code and models are available at https://github.com/timbroed/DGFusion

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI