DeeperRadar: 自動運転知覚のためのエンドツーエンドMIMOレーダ設計とマルチモーダル融合

DeeperRadarは、自律走行向けにMIMOレーダーセンシングとマルチモーダル3D物体検出を共同設計する、レーダー中心のフレームワークである。生のレーダーADCデータ、カメラ画像、LiDAR点群を入力とするフュージョンネットワーク内で、学習可能なMIMO設計モジュールをエンドツーエンドで訓練する。訓練中、設計モジュールは他のセンサーからの監督を受け、受信アンテナの活性化パターンとその有効数を学習する。推論時には、設計モジュールを除去し、学習されたスパースなサブサンプリングマスクに置き換えるため、下流モデルのアーキテクチャは変更されない。

従来のレーダー設計は手動またはタスク非依存的であり、下流の認識タスクや他のセンサーとの融合を考慮していなかった。DeeperRadarは、レーダーのスパースな取得パターンをフュージョンモデルとエンドツーエンドで学習することで、タスク依存的かつセンサースタック条件付きの設計を可能にした点が新しい。また、訓練時にのみ設計モジュールを用い、推論時には不要とするため、実運用時の計算コストを増やさない。

手法の核は、学習可能なMIMO設計モジュールをフュージョンネットワーク内に組み込み、生のADCデータから直接、受信アンテナのサブセット選択を学習することである。このモジュールは、他のセンサー（カメラ、LiDAR）からの勾配によって監督され、タスクに有用なアンテナパターンを発見する。訓練後は、学習されたスパースマスクを適用するだけで、設計モジュール自体は不要となる。

RADIalデータセットを用いて評価した。フルアレイのベースラインと比較し、少ない受信機数で同等以上の性能を達成するスパースなレーダー構成を発見できることを示した。これにより、レーダーコストと統合の複雑さを低減できる可能性を示した。

要旨からは、学習された最適なMIMOレーダー設計がフュージョンスタックと下流の認識タスクに依存することが示唆されるが、具体的な性能数値や他のデータセットでの汎化性、設計モジュールの収束性などについては不明である。また、スパース構成がフルアレイを上回る場合の理由や、センサー欠落時のロバスト性についての議論は要旨に含まれていない。

要旨で参照されているRADIalデータセットに関する論文、および関連するマルチモーダル3D物体検出手法（例: BEVFusion）やレーダー信号処理のための学習可能なサブサンプリング手法（例: learned sparse sampling for radar）を読むことが推奨される。