日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2506.21041

SEAL: 長尾シナリオに適応する視覚言語モデルベースの安全な協調自動運転

SEAL: Vision-Language Model-Based Safe End-to-End Cooperative Autonomous Driving with Adaptive Long-Tail Modeling

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルと適応的マルチモーダル学習を用いて、悪天候などの長尾シナリオにおける協調自動運転の安全性とロバスト性を向上させるフレームワークSEALを提案した。

詳しい要約

1. どんなもの?

- 希少・多様・視覚劣化を伴う悪天候下の協調自動運転における安全性課題に取り組む研究 - 車両とインフラが共同で知覚・推論する協調設定を対象とする - Vision-Language Model (VLM) ベースの枠組み SEAL を提案 - 長尾シナリオ下でのロバストな協調自動運転のための適応的マルチモーダル学習を導入 - 推論・安全性・計画精度の向上を目指す

2. 先行研究と比べてどこがすごい?

- 既存ベースラインと比較し、複雑で困難な運転条件下で推論・安全性・計画精度を大幅に上回ると報告 - 希少・多様・視覚劣化の天候シナリオを扱う点が特徴 - 車両側・インフラ側の両視点を考慮する協調設定に拡張 - 長尾条件の合成により訓練多様性を効率的に拡充 - 具体的な先行研究名や数値比較は要旨からは不明

3. 技術・手法の肝は?

- 三つの主要な工夫から構成 - (i) foundation models を用い、snow や fog などの長尾条件を車両側・インフラ側視点で合成する prompt-driven な生成・評価パイプライン - (ii) シナリオ事前情報で視覚ストリームを変調し、曖昧・破損した特徴を再調整する gated multi-scenario adaptive attention module - (iii) マルチモーダル整合性を高め、シナリオ間の特徴分離性を促す multi-task scenario-aware contrastive learning 目的関数

4. どうやって有効だと検証した?

- 複雑で困難な運転条件下での広範な実験を実施 - 既存ベースラインとの比較で推論・安全性・計画精度の有意な優位性を示す - 長尾シナリオ生成・評価パイプラインを含む検証を実施 - 具体的なデータセット名・評価指標・実験設定の詳細は要旨からは不明

5. 議論はある?

- 長尾・悪天候・視覚劣化下の協調自動運転の安全性・ロバスト性・スケーラビリティ向上を主張 - foundation models による合成データの活用が訓練多様性に寄与 - 限界・失敗事例・計算コスト・実車展開性に関する議論は要旨からは不明 - 合成シナリオの現実性や評価の妥当性に関する詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として Vision-Language Model (VLM) ベースの自動運転研究 - 協調自動運転 (cooperative autonomous driving) に関する研究 - 長尾シナリオ生成・評価に関する研究 - foundation models を用いたデータ合成・拡張に関する研究 - multi-task contrastive learning を用いたマルチモーダル学習研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junwei You, Pei Li, Zhuoyu Jiang, Zilin Huang, Rui Gan, Haotian Shi, Bin Ran

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Autonomous driving technologies face significant safety challenges while operating under rare, diverse, and visually degraded weather scenarios. These challenges become more critical in cooperative settings, where vehicles and infrastructure jointly perceive and reason across complex environments. To address these issues, we propose SEAL, a vision-language model-based framework with adaptive multimodal learning for robust cooperative autonomous driving under long-tail scenarios. SEAL introduces three core innovations: (i) a prompt-driven long-tail scenario generation and evaluation pipeline that leverages foundation models to synthesize realistic long-tail conditions such as snow and fog across vehicle- and infrastructure-side views, enriching training diversity efficiently; (ii) a gated multi-scenario adaptive attention module that modulates the visual stream using scenario priors to recalibrate ambiguous or corrupted features; and (iii) a multi-task scenario-aware contrastive learning objective that improves multimodal alignment and promotes cross-scenario feature separability. Extensive experiments demonstrate that SEAL significantly outperforms existing baselines in reasoning, safety, and planning accuracy under complex, challenging driving conditions, advancing the safety, robustness, and scalability of autonomous driving.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI