日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
自動運転/VLMarXiv:2507.01284

VLAD: 階層的計画と解釈可能な意思決定プロセスを備えたVLM拡張自動運転フレームワーク

VLAD: A VLM-Augmented Autonomous Driving Framework with Hierarchical Planning and Interpretable Decision Process

シェア:XThreadsFacebookLINEはてブBluesky

微調整した視覚言語モデル(VLM)と既存のEnd-to-End自動運転システムVADを統合し、高レベルなナビゲーション指示の生成と自然言語による意思決定の説明を可能にした。nuScenesデータセットでの評価で衝突率を31.82%削減した。

詳しい要約

1. どんなもの？

- 提案: VLM を活用した自動運転フレームワーク VLAD - 構成: fine-tune した VLM と end-to-end システム VAD を統合 - 役割: VLM が高レベル航法コマンドを生成し、VAD が車両操作を担う - 出力: 運転判断の自然言語説明も生成し解釈性を付与 - 評価: 実世界データセット nuScenes で検証

2. 先行研究と比べてどこがすごい？

- 先行: LLaVA, Qwen-VL, Llama など open-source VLM の応用研究が進展 - 比較対象: state-of-the-art の end-to-end システム VAD を基盤に採用 - 利点1: VLM の internet-scale な一般知識を自動運転の知覚・予測・計画に活用 - 利点2: 従来 black-box だった end-to-end 構成に自然言語説明を付加し透明性・信頼性を向上 - 利点3: baseline 比で平均衝突率を 31.82% 削減し新たな benchmark を提示(要旨)

3. 技術・手法の肝は？

- 核1: 空間推論能力を高めるため専用の question-answer データセットで VLM を fine-tune - 核2: 強化した VLM が高レベル航法コマンドを生成 - 核3: そのコマンドを VAD が処理して車両操作を誘導する階層的計画 - 核4: 運転判断に対する解釈可能な自然言語説明を生成 - 詳細なモデル構造・学習手順は要旨からは不明

4. どうやって有効だと検証した？

- データセット: 実世界の nuScenes で包括評価 - 指標: 平均衝突率(average collision rates)を baseline 手法と比較 - 結果: 31.82% の削減を達成 - 位置づけ: VLM-augmented 自動運転の新 benchmark を確立(要旨) - 他の指標や被験者評価の有無は要旨からは不明

5. 議論はある？

- 主張: 自然言語説明により black-box な end-to-end 構成の透明性・信頼性が向上 - 主張: VLM の一般知識が知覚・予測・計画の強化に寄与 - 限界や失敗事例、計算コスト、リアルタイム性の議論は要旨からは不明 - 定量結果は衝突率のみ言及され、他指標の議論は要旨からは不明

6. 次に読むべき論文は？

- 基盤システム: VAD(end-to-end 自動運転) - 統合した VLM: LLaVA, Qwen-VL, Llama 系 - 評価データセット: nuScenes - 関連一般手法: VLM fine-tuning、question-answer データセットによる空間推論強化、階層的計画(hierarchical planning)、解釈可能な意思決定

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Cristian Gariboldi, Hayato Tokida, Ken Kinjo, Yuki Asada, Alexander Carballo

分類: cs.RO, cs.AI, cs.CV, cs.ET, cs.LG

原文アブストラクト

Recent advancements in open-source Visual Language Models (VLMs) such as LLaVA, Qwen-VL, and Llama have catalyzed extensive research on their integration with diverse systems. The internet-scale general knowledge encapsulated within these models presents significant opportunities for enhancing autonomous driving perception, prediction, and planning capabilities. In this paper we propose VLAD, a vision-language autonomous driving model, which integrates a fine-tuned VLM with VAD, a state-of-the-art end-to-end system. We implement a specialized fine-tuning approach using custom question-answer datasets designed specifically to improve the spatial reasoning capabilities of the model. The enhanced VLM generates high-level navigational commands that VAD subsequently processes to guide vehicle operation. Additionally, our system produces interpretable natural language explanations of driving decisions, thereby increasing transparency and trustworthiness of the traditionally black-box end-to-end architecture. Comprehensive evaluation on the real-world nuScenes dataset demonstrates that our integrated system reduces average collision rates by 31.82% compared to baseline methodologies, establishing a new benchmark for VLM-augmented autonomous driving systems.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →