自動運転/安全強化学習2025/5/1arXiv:2505.16377

VLM-SAFE: 視覚言語モデルと世界モデルによる安全志向の自動運転強化学習

VLM-SAFE: Vision-Language Model-Guided Safety-Aware Reinforcement Learning with World Models for Autonomous Driving

視覚言語モデルでシーンの意味的な安全信号を得て、世界モデルで将来軌道を想像し、その安全性を評価して方策を学習するオフライン安全強化学習フレームワークを提案。

詳しい要約

1. どんなもの？

- 自動運転向けのoffline safe RLフレームワーク VLM-SAFE の提案 - 人間の認知ループ observe-imagine-evaluate-act に沿う構成 - offline driving data から出発し、VLM で意味的安全信号を得る - learned world model で将来trajectoryを想像し、VLMで安全性を評価 - 安全を考慮した想像経験で actor-critic により policy を最適化

2. 先行研究と比べてどこがすごい？

- 従来のRLは sample efficiency が低く汎化が弱く、不安全な online trial-and-error に依存 - 既存の safe RL は制約や cost を用いるが、実走行場面の安全の意味を捉えにくい - 単純場面では保守的、複雑場面ではリスク認識が不足しがち - VLM-SAFE は VLM の scene understanding に基づく semantic safety signal を導入 - world model の想像rolloutを return 推定だけでなく VLM による安全評価にも用いる点が特徴

3. 技術・手法の肝は？

- offline driving data から traffic scenario を観測 - VLM が scene understanding に基づく semantic safety signal を提供 - learned world model が観測文脈から将来trajectoryを想像 - 想像された future を VLM-based safety guidance で評価 - future anticipation と semantic risk assessment を明示的に結合 - safety-aware imagined experience を actor-critic learning で policy 最適化に使用 - observe, imagine, evaluate, act を閉ループで統合

4. どうやって有効だと検証した？

- simulation での extensive experiments を実施 - 安全性の向上を確認 - traffic-density shift 下での robustness 向上を確認 - representative baselines と比較し safety-performance trade-off が改善 - 具体的なデータセット名・指標・baseline名は要旨からは不明

5. 議論はある？

- 既存 safe RL の意味的安全理解の不足を課題として提示 - 単純場面の保守性と複雑場面のリスク認識不足の両方に対処する狙い - VLM による semantic safety signal と world model の想像を結合する設計上の議論 - offline 設定により real environment との不安全な相互作用を避ける立場 - 限界や失敗事例、計算コスト、VLM依存性などの詳細は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている representative baselines の個別論文は要旨からは不明 - 関連手法として safe RL、offline RL、world model ベースの model-based RL、VLM を用いた自動運転 - 同分野の定番として actor-critic、model-based RL、offline safe RL の代表的文献を次に読む候補とする

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yansong Qu, Zilin Huang, Zihao Sheng, Jiancong Chen, Yue Leng, Samuel Labi, Sikai Chen

分類: cs.RO, cs.AI

原文アブストラクト

Autonomous driving policy learning with reinforcement learning (RL) is fundamentally limited by low sample efficiency, weak generalization, and a dependence on unsafe online trial-and-error interactions. Although safe RL introduces explicit constraints or costs, existing methods often fail to capture the semantic meaning of safety in real driving scenes, leading to conservative behaviors in simple cases and insufficient risk awareness in complex ones. To address this issue, we propose VLM-SAFE, an offline safe RL framework that follows a human cognitive loop of observe-imagine-evaluate-act. Starting from offline driving data, VLM-SAFE observes traffic scenarios and leverages a vision-language model (VLM) to provide semantic safety signals grounded in scene understanding. A learned world model then imagines future trajectories from the observed context, enabling the agent to reason about possible consequences without interacting with the real environment. Rather than using imagined rollouts solely for return estimation, VLM-SAFE further evaluates these predicted futures with VLM-based safety guidance, explicitly coupling future anticipation with semantic risk assessment. The resulting safety-aware imagined experience is finally used to optimize the policy via actor-critic learning, such that actions are chosen based on both predicted outcomes and their safety implications. By tightly integrating observation, imagination, evaluation, and action into a unified closed loop, VLM-SAFE enables safer and more efficient offline policy learning for autonomous driving. Extensive experiments in simulation show that VLM-SAFE achieves improved safety, stronger robustness under traffic-density shift, and a better safety-performance trade-off than representative baselines.

arXivで原文を読む →arXiv概要ページ

VLM-SAFE: 視覚言語モデルと世界モデルによる安全志向の自動運転強化学習

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell