シミュレーション/知覚2026/6/24arXiv:2606.28396

RadarTwin: 特定環境向けミリ波レーダーシミュレーションと屋内認識のための学習

RadarTwin: Scene-Specific mmWave Radar Simulation and Learning for Mobile Indoor Perception

実データ収集前に、対象空間の3D再構成からレーダー関連の表面材質を推定し、物理ベースのレイトレーシングでFMCWレーダー測定を合成するフレームワークを提案。シミュレーションと実データの特徴が一致し、シミュレーションのみで学習した表現が実物体を偶然の2.5倍の精度で認識、少数のラベルで95.3%に向上することを示した。

詳しい要約

1. どんなもの？

- mmWave radar perceptionのデータ不足を解決するため、実データ収集前に展開先固有のradar学習データを生成するRadarTwinを提案。 - 対象空間の3D再構成（phone LiDAR、robot搭載センシング、RGB-to-3D）を入力とし、vision-language modelでradar関連表面材料を推定し、physics-based ray tracerでmulti-bounce伝搬を含むraw FMCW radar測定を合成。 - シミュレーションから現実への転移を調べるため、家庭内物体、材料クラス、距離、回転、並進、移動センシング軌道を網羅する実-シミュレーション対データセットを収集。 - シミュレーションのみで学習した表現が実物体をchanceの2.5倍で認識し、少数ラベルで12-way認識タスクの95.3%を達成。 - 新空間でのradar perception学習を実データ収集前に可能にするフレームワーク。

2. 先行研究と比べてどこがすごい？

- 既存のradarデータセットで学習したモデルは新しい物体、環境、センシング軌道に一般化できないというデータ不足問題に対処。 - 実データ収集前に展開先固有のradar学習データを生成できる点が新しい。 - シミュレーションと実radarが同じ物体識別的な形状・材料特徴を共有することを示し、環境のmultipathモデリングが実測定に一致するために不可欠であることを明らかにした。 - シミュレーションのみで学習した表現が実物体をchanceの2.5倍で認識し、少数ラベルで95.3%に向上することを示した。

3. 技術・手法の肝は？

- 対象空間の3D再構成（phone LiDAR、robot搭載センシング、RGB-to-3D）を入力。 - vision-language modelを用いてradar関連表面材料を推定。 - physics-based ray tracerでmulti-bounce伝搬を含むraw FMCW radar測定を合成。 - シミュレーションから現実への転移を調べるため、家庭内物体、材料クラス、距離、回転、並進、移動センシング軌道を網羅する実-シミュレーション対データセットを収集。 - シミュレーションのみで学習した表現を実物体認識に適用。

4. どうやって有効だと検証した？

- 家庭内物体、材料クラス、距離、回転、並進、移動センシング軌道を網羅する実-シミュレーション対データセットを収集。 - シミュレーションと実radarが同じ物体識別的な形状・材料特徴を共有することを確認。 - 環境のmultipathモデリングが実測定に一致するために不可欠であることを示した。 - シミュレーションのみで学習した表現が実物体をchanceの2.5倍で認識し、少数ラベルで12-way認識タスクの95.3%を達成。

5. 議論はある？

- シミュレーションと実radarの特徴共有やmultipathの重要性について議論。 - シミュレーションのみで学習した表現の実物体認識性能と少数ラベルでの向上を示す。 - 新空間でのradar perception学習を実データ収集前に可能にする意義を議論。 - 具体的な限界や課題については要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、mmWave radar perception、FMCW radar、physics-based ray tracing、vision-language model、RGB-to-3D、phone LiDAR、robot-mounted sensingが挙げられる。 - 同分野の定番として、radarデータセットを用いた学習やシミュレーションから現実への転移に関する研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Emily Bejerano, Federico Tondolo, Devang Gupta, Aaron Mano Cherian, Taeyoo Kim, Ayaan Qayyum, Xiaofan Yu, Xiaofan Jiang

分類: cs.CV, cs.LG

原文アブストラクト

Millimeter-wave (mmWave) radar perception is limited by data scarcity: models trained on existing radar datasets fail to generalize to new objects, environments, and sensing trajectories. We present RadarTwin, a framework for generating deployment-specific radar training data before real data collection. Given a 3D reconstruction of a target space (phone LiDAR, robot-mounted sensing, or RGB-to-3D), RadarTwin uses a vision-language model to infer radar-relevant surface materials and a physics-based ray tracer to synthesize raw frequency-modulated continuous-wave (FMCW) radar measurements with multi-bounce propagation. To study what transfers from simulation to reality, we collect a paired real-simulated dataset spanning household objects, material classes, distances, rotations, translations, and mobile sensing trajectories. We show that simulated and real radar share the same object-discriminative shape and material features, and that modeling the environment's multipath is essential to matching real measurements. A representation trained on simulation alone recognizes real objects at 2.5 times chance with no real radar labels, and a few labeled examples raise this to 95.3% on a 12-way recognition task. RadarTwin enables training radar perception for a new space before any real radar data is collected there.

arXivで原文を読む →arXiv概要ページ

← 論文一覧