日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.16760

自動運転のための視覚-言語-行動モデル:過去・現在・未来

Vision-Language-Action Models for Autonomous Driving: Past, Present, and Future

シェア:XThreadsFacebookLINEはてブBluesky

自動運転における視覚-言語-行動(VLA)フレームワークの進化を整理し、End-to-End型とDual-System型の2つのパラダイムに分類して、その特徴と課題を概観したサーベイ論文。

詳しい要約

1. どんなもの?

- 本論文は autonomous driving 向けの Vision-Language-Action (VLA) フレームワークに関するサーベイ論文。 - 従来の modular な Perception-Decision-Action パイプラインや Vision-Action (VA) モデルの限界を整理。 - VLA の台頭を LLMs と multimodal learning の進展に位置づける。 - 既存手法を End-to-End VLA と Dual-System VLA の2パラダイムに分類。 - textual vs. numerical action generators、explicit vs. implicit guidance のサブクラスを区別。 - 代表的な datasets と benchmarks を整理し、課題と今後の方向性を示す。

2. 先行研究と比べてどこがすごい?

- modular な Perception-Decision-Action パイプラインは hand-crafted interfaces や rule-based components が複雑・long-tailed な状況で破綻し、cascaded design が知覚誤差を伝播させる問題があった。 - Vision-Action (VA) モデルは視覚から行動への直接写像を学習するが、不透明で distribution shifts に敏感、構造的推論や instruction-following 能力を欠く。 - 本論文は visual understanding・linguistic reasoning・actionable outputs を統合する VLA の枠組みを整理し、より interpretable・generalizable・human-aligned な driving policies への道筋を示す。 - 単純な列挙ではなく、End-to-End と Dual-System の2パラダイムおよびサブクラスへの体系的分類を提示する点が貢献。

3. 技術・手法の肝は?

- 本論文はサーベイであり、新規アルゴリズムの提案ではなく VLA 研究の構造的特徴づけを行う。 - 初期の VA アプローチから現代の VLA フレームワークへの進化をたどる。 - 既存手法を2つの主要パラダイムに分類する。 - End-to-End VLA: perception・reasoning・planning を単一モデル内で統合。 - Dual-System VLA: VLMs による slow deliberation と planners による fast・safety-critical execution を分離。 - 各パラダイム内で textual vs. numerical action generators、explicit vs. implicit guidance mechanisms のサブクラスを区別。 - 評価用の代表的な datasets と benchmarks を整理する。

4. どうやって有効だと検証した?

- 本論文はサーベイ論文であり、提案手法の実験的検証は要旨からは不明。 - 有効性の検証として、既存の代表的な datasets と benchmarks を整理・要約している。 - 具体的な benchmark 名や評価指標、実験結果は要旨からは不明。

5. 議論はある?

- 課題として robustness、interpretability、instruction fidelity を挙げている。 - End-to-End VLA と Dual-System VLA の比較や、textual vs. numerical action generators、explicit vs. implicit guidance の差異に関する議論が含まれると推測されるが、詳細は要旨からは不明。 - 今後の open directions として、human-compatible autonomous driving systems の基盤確立を目指す方向性を示す。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として、modular な Perception-Decision-Action パイプライン、Vision-Action (VA) モデル、Large Language Models (LLMs)、multimodal learning を挙げる。 - VLA の2パラダイムとして End-to-End VLA と Dual-System VLA、サブクラスとして textual vs. numerical action generators、explicit vs. implicit guidance mechanisms に関連する研究を次に読むべき候補として挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianshuai Hu, Xiaolu Liu, Song Wang, Yiyao Zhu, Ao Liang, Lingdong Kong, Guoyang Zhao, Zeying Gong, Jun Cen, Zhiyu Huang, Xiaoshuai Hao, Linfeng Li, Hang Song, Xiangtai Li, Jun Ma, Shaojie Shen, Jianke Zhu, Dacheng Tao, Ziwei Liu, Junwei Liang

分類: cs.RO

原文アブストラクト

Autonomous driving has long relied on modular "Perception-Decision-Action" pipelines, where hand-crafted interfaces and rule-based components often break down in complex or long-tailed scenarios. Their cascaded design further propagates perception errors, degrading downstream planning and control. Vision-Action (VA) models address some limitations by learning direct mappings from visual inputs to actions, but they remain opaque, sensitive to distribution shifts, and lack structured reasoning or instruction-following capabilities. Recent progress in Large Language Models (LLMs) and multimodal learning has motivated the emergence of Vision-Language-Action (VLA) frameworks, which integrate perception with language-grounded decision making. By unifying visual understanding, linguistic reasoning, and actionable outputs, VLAs offer a pathway toward more interpretable, generalizable, and human-aligned driving policies. This work provides a structured characterization of the emerging VLA landscape for autonomous driving. We trace the evolution from early VA approaches to modern VLA frameworks and organize existing methods into two principal paradigms: End-to-End VLA, which integrates perception, reasoning, and planning within a single model, and Dual-System VLA, which separates slow deliberation (via VLMs) from fast, safety-critical execution (via planners). Within these paradigms, we further distinguish subclasses such as textual vs. numerical action generators and explicit vs. implicit guidance mechanisms. We also summarize representative datasets and benchmarks for evaluating VLA-based driving systems and highlight key challenges and open directions, including robustness, interpretability, and instruction fidelity. Overall, this work aims to establish a coherent foundation for advancing human-compatible autonomous driving systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI