日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/VLAarXiv:2603.01441

自動運転のための言語-行動の理解と生成の統合

Unifying Language-Action Understanding and Generation for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

自動運転向けのVLAモデルにおいて、言語と行動のトークンを共有コードブックで統合し、補助的な行動理解目標と粗密生成法を導入することで、指示追従精度と推論効率を向上させた。

詳しい要約

1. どんなもの?

- 自動運転向けのVision-Language-Action (VLA) モデル - 言語指示と行動出力の不整合、自己回帰的な行動生成の非効率性を解決 - LinkVLAという新アーキテクチャを提案 - 言語と行動のトークンを共有離散コードブックで統合 - 補助的な行動理解目的と2段階のcoarse-to-fine生成手法C2Fを導入

2. 先行研究と比べてどこがすごい?

- 既存手法は言語指示と行動出力の間に永続的な不整合があった - 典型的な自己回帰的行動生成は非効率だった - LinkVLAは構造的リンクと深い意味的リンクで整合性を向上 - C2Fにより推論時間を86%削減 - 閉ループ運転ベンチマークで指示追従精度と運転性能が一貫して向上

3. 技術・手法の肝は?

- 言語と行動のトークンを共有離散コードブックに統合し、単一マルチモーダルモデルで処理 - 補助的な行動理解目的:軌道から記述的なキャプションを生成するよう訓練し、双方向の言語-行動マッピングを促進 - 2段階のcoarse-to-fine生成手法C2Fで行動シーケンスを効率的にデコード - これにより推論時間を86%節約

4. どうやって有効だと検証した?

- 閉ループ運転ベンチマークで実験 - 指示追従精度と運転性能の一貫した向上を確認 - 推論レイテンシの削減も確認 - 具体的なベンチマーク名や数値は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 限界や議論点についての記述はない

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてVision-Language-Action (VLA) モデル、自己回帰的行動生成、coarse-to-fine生成が挙げられる - 同分野の定番としてend-to-end autonomous driving、Vision-Language Models (VLMs) が考えられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyang Wang, Qian Liu, Wenjie Ding, Zhao Yang, Wei Li, Chang Liu, Bailin Li, Kun Zhan, Xianpeng Lang, Wei Chen

分類: cs.CV, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models are emerging as a promising paradigm for end-to-end autonomous driving, valued for their potential to leverage world knowledge and reason about complex driving scenes. However, existing methods suffer from two critical limitations: a persistent misalignment between language instructions and action outputs, and the inherent inefficiency of typical auto-regressive action generation. In this paper, we introduce LinkVLA, a novel architecture that directly addresses these challenges to enhance both alignment and efficiency. First, we establish a structural link by unifying language and action tokens into a shared discrete codebook, processed within a single multi-modal model. This structurally enforces cross-modal consistency from the ground up. Second, to create a deep semantic link, we introduce an auxiliary action understanding objective that trains the model to generate descriptive captions from trajectories, fostering a bidirectional language-action mapping. Finally, we replace the slow, step-by-step generation with a two-step coarse-to-fine generation method C2F that efficiently decodes the action sequence, saving 86% inference time. Experiments on closed-loop driving benchmarks show consistent gains in instruction following accuracy and driving performance, alongside reduced inference latency.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI