日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.24044

自動運転のための視覚-言語-行動モデルに関するサーベイ

A Survey on Vision-Language-Action Models for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

自動運転向けの視覚・言語・行動を統合したVLAモデルについて、アーキテクチャや20以上の代表モデル、データセット、課題を初めて体系的にまとめたサーベイ。

詳しい要約

1. どんなもの?

- 本論文は Vision-Language-Action (VLA) を Autonomous Driving に適用した研究群を初めて包括的に整理した survey である。 - 視覚知覚・自然言語理解・制御を単一 policy に統合する VLA パラダイムを対象とする。 - 高レベル指示の解釈、複雑な交通場面の推論、自律的意思決定を可能にするモデルを扱う。 - 主な貢献は3点。 - 近年の研究で共有される architectural building blocks の形式化。 - 初期の explainer から reasoning-centric VLA への発展の整理。 - 20以上の代表モデルの比較。 - 既存 datasets と benchmarks を整理し、driving safety・accuracy・explanation quality を同時評価する protocol を強調。 - 課題として robustness、real-time efficiency、formal verification を挙げ、今後の方向性を示す。

2. 先行研究と比べてどこがすごい?

- 従来の autonomous driving 研究は知覚・計画・制御が分離されがちで、VLA 研究は断片的かつ急速に拡大していた。 - 本 survey は VLA4AD を初めて包括的に概観する点が新規。 - 共有される architectural building blocks を形式化。 - explainer から reasoning-centric VLA への進化を追跡。 - 20以上の代表モデルを横断比較。 - datasets と benchmarks を統合し、安全性・精度・説明品質を同時に測る protocol に着目。 - 単なる手法列挙でなく、課題と将来方向まで示す参照文献としての位置づけ。 - 個々の先行研究との定量的優劣の比較は要旨からは不明。

3. 技術・手法の肝は?

- VLA パラダイムは visual perception、natural language understanding、control を単一 policy に統合する。 - 基盤として multimodal large language models (MLLM) の進展を利用。 - survey の手法は以下の整理・比較にある。 - 最近の研究に共通する architectural building blocks の形式化。 - 初期 explainer 型から reasoning-centric VLA 型への発展の追跡。 - 20以上の代表モデルの比較。 - 評価面では datasets と benchmarks を整理し、driving safety・accuracy・explanation quality を同時測定する protocol をまとめる。 - 個々のモデルの具体的アーキテクチャ詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 本 survey は新規モデルの実験的検証ではなく、文献・モデル・データセットの比較整理により有効性を示す。 - 20以上の代表モデルを VLA の進展に沿って比較。 - 既存 datasets と benchmarks を統合し、driving safety・accuracy・explanation quality を同時に測る protocol を強調。 - これにより VLA4AD の現状把握と今後の参照基盤を提供。 - 個別モデルの定量性能や実験結果の詳細は要旨からは不明。

5. 議論はある?

- 未解決課題として robustness、real-time efficiency、formal verification を明示。 - これらは実車展開における安全性・信頼性・検証可能性に関わる論点。 - 将来方向として interpretable かつ socially aligned な autonomous vehicles の推進を掲げる。 - 文献が断片的で急速に拡大している現状自体を課題として認識。 - 各課題の具体的解決策や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 本 survey が比較対象とする20以上の代表 VLA4AD モデル(個別名は要旨からは不明)。 - 初期 explainer 型モデルと reasoning-centric VLA モデルの各代表研究。 - 統合された datasets と benchmarks の原論文。 - 課題として挙げられた robustness、real-time efficiency、formal verification に関する研究。 - 関連基盤として multimodal large language models (MLLM) の代表的研究。 - 付属 GitHub repo: SicongJiang/Awesome-VLA4AD に掲載の文献リスト。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sicong Jiang, Zilin Huang, Kangan Qian, Ziang Luo, Tianze Zhu, Yang Zhong, Yihong Tang, Menglin Kong, Yunlong Wang, Siwen Jiao, Hao Ye, Zihao Sheng, Xin Zhao, Tuopu Wen, Zheng Fu, Sikai Chen, Kun Jiang, Diange Yang, Seongjin Choi, Lijun Sun

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

The rapid progress of multimodal large language models (MLLM) has paved the way for Vision-Language-Action (VLA) paradigms, which integrate visual perception, natural language understanding, and control within a single policy. Researchers in autonomous driving are actively adapting these methods to the vehicle domain. Such models promise autonomous vehicles that can interpret high-level instructions, reason about complex traffic scenes, and make their own decisions. However, the literature remains fragmented and is rapidly expanding. This survey offers the first comprehensive overview of VLA for Autonomous Driving (VLA4AD). We (i) formalize the architectural building blocks shared across recent work, (ii) trace the evolution from early explainer to reasoning-centric VLA models, and (iii) compare over 20 representative models according to VLA's progress in the autonomous driving domain. We also consolidate existing datasets and benchmarks, highlighting protocols that jointly measure driving safety, accuracy, and explanation quality. Finally, we detail open challenges - robustness, real-time efficiency, and formal verification - and outline future directions of VLA4AD. This survey provides a concise yet complete reference for advancing interpretable socially aligned autonomous vehicles. Github repo is available at \href{https://github.com/JohnsonJiang1996/Awesome-VLA4AD}{SicongJiang/Awesome-VLA4AD}.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI