日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マルチモーダル知覚arXiv:2610.14082

SenseWeather: 極限環境下でのロボット知覚を支えるマルチモーダルセンシング

SenseWeather: Multimodal Sensing for Robust Robotic Perception under Extreme Conditions

シェア:XThreadsFacebookLINEはてブBluesky

雨・雪・砂塵・霧・暗闇などの悪条件下でRGB画像が劣化しても、深度と赤外線を融合してタスク互換のRGB観測を復元し、既存の知覚モデルを再学習せずにロボット知覚を維持するベンチマークと手法を提案した論文。

詳しい要約

1. どんなもの？

極端な環境条件（豪雨、雪、砂塵、霧、暗闇）下でロボットの知覚を堅牢に保つためのマルチモーダルベンチマークと手法を提案。RGB、depth、infraredの登録済み観測、クリーン参照、接地された高レベル知覚タスクを含む。Fusion-to-RGBというRGB復元手法も開発。

2. 先行研究と比べてどこがすごい？

従来の知覚スタックはRGB中心で、オンボードのマルチモーダルセンサと事前学習済み下流モデルの間に不一致があった。本研究は補完センシングを上流で使い、下流スタックを変更・再学習せずにタスク互換のRGB観測を復元できることを示した。

3. 技術・手法の肝は？

Fusion-to-RGBを開発。2つのパラメータ効率の良いセンサーフュージョン実現法：(1) diffusion transformerのためのtoken-space fusion、(2) inpainting UNetのためのresidual latent conditioning。RGB+D+IR融合によりRGBのみの復元より下流比較が改善。

4. どうやって有効だと検証した？

凍結されたopen-vocabulary groundingとvision-languageモデルで評価。RGB+D+IR融合はRGBのみの復元と比較して全てのペア下流比較で改善、10の検出器比較でAP50向上。知覚向上は従来の画像忠実度指標に一貫して従わず、気象深刻度増加が単調な下流劣化を引き起こさないことも示した。

5. 議論はある？

補完センシングが極端条件下で再利用可能なロボット知覚を維持できることを示す一方、タスクレベルの知覚堅牢性が視覚復元品質とは別の目的であることを強調。知覚向上が画像忠実度指標に従わない点や、気象深刻度と下流劣化の非単調性が議論の余地。

6. 次に読むべき論文は？

要旨で参照/比較されている研究は明示されていない。同分野の定番として、open-vocabulary grounding (例: GLIP, Grounding DINO)、vision-languageモデル (例: CLIP)、diffusion transformer (例: DiT)、inpainting UNet (例: Stable Diffusion) などが関連。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fucai Ke, Sukai Huang, Junyi Hao, Kal Backman, Naim Rastgoo, Gholamreza Haffari, Hamid Rezatofighi

分類: cs.RO, cs.CV

原文アブストラクト

Robotic perception must remain reliable when extreme environmental conditions severely degrade the primary RGB observation. Although robotic platforms commonly carry complementary sensors such as depth and infrared, much of the modern perception stack remains RGB-centric, creating a mismatch between multimodal onboard sensing and pretrained downstream models. We study whether complementary sensing can be used upstream to recover a task-compatible RGB observation that preserves existing perception capabilities without modifying or retraining the downstream stack. To this end, we introduce SenseWeather, a controlled multimodal benchmark for robotic perception under severe rain, snow, dust, fog, and darkness, with registered RGB, depth, and infrared observations, clean references, and grounded high-level perception tasks. We further develop Fusion-to-RGB, with two parameter-efficient sensor-fusion realizations based on token-space fusion for a diffusion transformer and residual latent conditioning for an inpainting UNet. Across frozen open-vocabulary grounding and vision-language models, RGB+D+IR fusion improves all paired downstream comparisons over the corresponding RGB-only restorers, including AP50 gains across all ten detector comparisons. Importantly, these perception gains do not consistently follow conventional image-fidelity metrics, and increasing weather severity does not induce monotonic downstream degradation. These results show that complementary sensing can preserve reusable robotic perception under extreme conditions, while highlighting task-level perception robustness as an objective distinct from visual restoration quality.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →