日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転認識arXiv:2606.02979

バランス学習とマルチセンサ融合によるコンパクトな自動運転認識

Towards Compact Autonomous Driving Perception with Balanced Learning and Multi-sensor Fusion

シェア:XThreadsFacebookLINEはてブBluesky

複数の自動運転認識タスクを1回の推論で処理するコンパクトな深層マルチタスク学習モデルを提案し、不均衡学習問題への適応的損失重み付けアルゴリズムと中間センサ融合技術を導入した。

詳しい要約

1. どんなもの?

- 自動運転の知覚タスクを1回のforward passで処理するコンパクトな深層マルチタスク学習モデル。 - 複数視点のsemantic segmentation、depth estimation、LiDAR segmentation、bird's eye view projectionを同時に実行。 - RGBカメラ、DVS、LiDARのマルチモーダル入力を処理・融合。 - パラメータ数が少なく、推論速度とGPUメモリ効率が向上。

2. 先行研究と比べてどこがすごい?

- 従来の個別モデルや大規模モデルと比較して、はるかに少ないパラメータで同等以上の性能を維持。 - 複数タスクを単一モデルで同時に処理し、他のモデルの支援を必要としない。 - マルチモーダル融合と適応的損失重み付けにより、不均衡学習問題に対処。 - 3つのCARLAシミュレーションデータセットと1つの実世界nuScenes-lidarsegデータセットで一貫した結果。

3. 技術・手法の肝は?

- コンパクトな深層マルチタスク学習モデルを提案。 - 適応的損失重み付けアルゴリズムでタスク間の不均衡学習問題を解決。 - データ前処理と中間センサ融合技術により、RGBカメラ、DVS、LiDARからの入力を組み合わせ。 - 複数視点のsemantic segmentation、depth estimation、LiDAR segmentation、bird's eye view projectionを同時に実行。

4. どうやって有効だと検証した?

- アブレーション研究により、提案手法で訓練したモデル変種がより良い性能を達成。 - 最近のモデルの組み合わせとの比較研究を実施。 - 3つのCARLAシミュレーションデータセットと1つの実世界nuScenes-lidarsegデータセットで評価。 - 結果は一貫しており、より少ないパラメータで優れた性能を維持。

5. 議論はある?

- モデルはより少ないパラメータで優れた性能を維持し、推論が高速でGPUメモリ使用量も少ない。 - 3つのCARLAシミュレーションデータセットと1つの実世界nuScenes-lidarsegデータセットで結果が一貫。 - コードとファイルを公開し、将来の研究を支援。 - 具体的な議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:最近のモデル(具体的名称は要旨に記載なし)。 - 関連手法:semantic segmentation、depth estimation、LiDAR segmentation、bird's eye view projection、マルチタスク学習、センサ融合。 - データセット:CARLA、nuScenes-lidarseg。 - 同分野の定番:PointPillars、MultiNet、Uber ATGのマルチタスク学習など。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Oskar Natan, Jun Miura

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

We present a novel compact deep multi-task learning model to handle various autonomous driving perception tasks in one forward pass. The model performs multiple views of semantic segmentation, depth estimation, light detection and ranging (LiDAR) segmentation, and bird's eye view projection simultaneously without being supported by other models. We also provide an adaptive loss weighting algorithm to tackle the imbalanced learning issue that occurred due to plenty of given tasks. Through data pre-processing and intermediate sensor fusion techniques, the model can process and combine multiple input modalities retrieved from RGB cameras, dynamic vision sensors (DVS), and LiDAR placed at several positions on the ego vehicle. Therefore, a better understanding of a dynamically changing environment can be achieved. Based on the ablation study, the model variant trained with our proposed method achieves a better performance. Furthermore, a comparative study is also conducted to clarify its performance and effectiveness against the combination of some recent models. As a result, our model maintains better performance even with much fewer parameters. Hence, the model can inference faster with less GPU memory utilization. Moreover, the result tends to be consistent in 3 different CARLA simulation datasets and 1 real-world nuScenes-lidarseg dataset. To support future research, we share codes and other files publicly at https://github.com/oskarnatan/compact-perception.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI