日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2505.15925

VERDI: 自動運転のためのVLM埋め込み推論

VERDI: VLM-Embedded Reasoning for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

VLMの推論過程と常識知識を学習時に自動運転スタックへ蒸留し、推論時の大規模VLMコストなしでモジュール型E2Eモデルの性能を向上させる手法を提案。

詳しい要約

1. どんなもの?

- 自動運転 (AD) スタックのための training-time framework「VERDI (VLM-Embedded Reasoning for autonomous DrIving)」 - VLM の推論過程と commonsense knowledge を、modular で differentiable な end-to-end (e2e) AD model に distill する - 推論時に大規模 VLM を動かすことなく、AD stack に構造化された reasoning を internalize させることを狙う - open-loop と closed-loop の両設定で評価されている

2. 先行研究と比べてどこがすごい?

- 先行研究は finetuned VLM を inference time の trajectory planning に直接用いるものが中心 - それらは benchmark では成功するが、70B parameter VLM の推論は 8 tokens/s で 160G 以上の memory を要するなど deploy が非現実的 - また monolithic な network 構造のため safety decomposition ができない - VERDI は inference-time cost を負わずに VLM の reasoning を活用でき、modular AD stack の分解性を保つ点が異なる

3. 技術・手法の肝は?

- training-time に VLM が生成する driving reasoning の text features を用意 - perception, prediction, planning 各 stage の中間 module 出力を、その text features と latent space 上で align させる - modular differentiable e2e AD model を拡張し、alignment を通じて構造化 reasoning を internalize させる - 推論時には大規模 VLM を必要としない構成

4. どうやって有効だと検証した?

- open-loop と closed-loop の両設定で評価 - 既存の embedded reasoning なしの end-to-end 手法と比較し、$\ell_{2}$ distance で最大 11% 改善 - closed-loop の HugSim simulator で総合 driving performance が最良 - Non-Collision Rate が 10% 改善し、かつ高速な inference speed を維持

5. 議論はある?

- 大規模 VLM の inference-time cost と monolithic 構造による safety decomposition の困難さが動機 - VERDI は latent space での alignment により、推論時コストなしで reasoning を internalize する設計 - 具体的な限界や failure case、alignment の詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- finetuned VLM を inference time の trajectory planning に用いる先行研究(個別名は要旨からは不明) - modular differentiable end-to-end AD model に関する研究 - HugSim simulator を用いた closed-loop 評価研究 - VLM の reasoning distillation に関する関連手法(個別名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bowen Feng, Zhiting Mei, Julian Ost, Filippo Ghilotti, Baiang Li, Roger Girgis, Anirudha Majumdar, Felix Heide

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

While autonomous driving (AD) stacks struggle with decision making under partial observability and real-world complexity, human drivers are capable of applying commonsense reasoning to make near-optimal decisions with limited information. Recent work has attempted to leverage finetuned Vision-Language Models (VLMs) for trajectory planning at inference time to emulate human behavior. Despite their success in benchmark evaluations, these methods are often impractical to deploy (a 70B parameter VLM inference at merely 8 tokens per second requires more than 160G of memory), and their monolithic network structure prohibits safety decomposition. To bridge this gap, we propose VLM-Embedded Reasoning for autonomous DrIving (VERDI), a training-time framework that distills the reasoning process and commonsense knowledge of VLMs into the AD stack. VERDI augments modular differentiable end-to-end (e2e) AD models by aligning intermediate module outputs at the perception, prediction, and planning stages with text features explaining the driving reasoning process produced by VLMs. By encouraging alignment in latent space, VERDI enables the modular AD stack to internalize structured reasoning, without incurring the inference-time costs of large VLMs. We evaluate VERDI in both open-loop and closed-loop settings. Our method outperforms existing end-to-end approaches without embedded reasoning by up to 11% in $\ell_{2}$ distance, and achieves the best overall driving performance in the closed-loop HugSim simulator, including a 10% improvement in Non-Collision Rate, while maintaining fast inference speed.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI