視覚整合4Dレーダによる天候ロバストなシーン意味理解
Weather-Robust Scene Semantics with Vision-Aligned 4D Radar
悪天候でも頑健な4Dレーダを用い、凍結した視覚言語モデルと整合させてシーン記述を生成する手法を提案。約700万パラメータの学習で、霧や雪のシーンでカメラを上回る性能を示した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Kali Hamilton, Christoffer Heckman
分類: cs.RO, cs.CV
原文アブストラクト
Cameras and LiDAR degrade in rain, fog, and snow, while millimeter-wave radar remains largely unaffected. We align a radar encoder to frozen SigLIP vision embeddings and decode structured scene captions through a frozen vision-language model (VLM) with approximately 7M trainable parameters. On K-RADAR with held-out fog, light snow, and heavy snow sequences, all radar configurations outperform a camera baseline that collapses to over 90% hallucination. We identify a token-norm mismatch as the dominant failure mode when bridging radar to a frozen VLM and show that projector-output LayerNorm resolves it. Analysis of encoder complexity, caption format, and pooling strategy reveals tradeoffs that inform future radar-VLM pipeline design.
