日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/VLAarXiv:2512.18211

LLaViDA: 明示的推論と軌道計画強化のための大規模言語視覚運転アシスタント

LLaViDA: A Large Language Vision Driving Assistant for Explicit Reasoning and Enhanced Trajectory Planning

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデル(VLM)を用いて物体運動予測・意味的接地・連鎖的推論を行い、二段階学習で自動運転の軌道計画を高精度化した研究。NuScenesで平均L2誤差0.31m・衝突率0.10%を達成。

詳しい要約

1. どんなもの?

- 自動運転の trajectory planning のための Large Language Vision Driving Assistant「LLaViDA」を提案する研究 - Vision-Language Model (VLM) を用いて object motion prediction、semantic grounding、chain-of-thought reasoning を行う - 二段階学習: supervised fine-tuning と Trajectory Preference Optimization (TPO) - 最終的に「VLM Trajectory Planner for Autonomous Driving」を構築する

2. 先行研究と比べてどこがすごい?

- 従来の end-to-end planner は悪天候・予測不能な人間行動・複雑な道路構造で性能が低下し、汎化性や few-shot 能力に乏しい - LLaViDA は VLM の推論能力を活用し、これらの弱点を補う - NuScenes benchmark の open-loop trajectory planning で state-of-the-art の end-to-end 手法および最近の VLM/LLM ベース baseline を上回る - 平均 L2 trajectory error 0.31 m、collision rate 0.10% を NuScenes test set で達成

3. 技術・手法の肝は?

- VLM をベースに object motion prediction、semantic grounding、chain-of-thought reasoning を統合 - 二段階の training pipeline を採用 - 第一段階: supervised fine-tuning - 第二段階: Trajectory Preference Optimization (TPO) - regression-based supervision を注入することで scene understanding と trajectory planning を強化 - これにより「VLM Trajectory Planner for Autonomous Driving」を実現

4. どうやって有効だと検証した?

- NuScenes benchmark の open-loop trajectory planning task で評価 - 評価指標は平均 L2 trajectory error と collision rate - NuScenes test set で L2 0.31 m、collision rate 0.10% を達成 - state-of-the-art の end-to-end 手法および最近の VLM/LLM ベース baseline と比較して優位性を確認

5. 議論はある?

- 要旨からは不明 - 悪天候や予測不能な人間行動、複雑な道路構造への頑健性について定性的に述べられているが、定量的な議論は要旨に記載なし - TPO の寄与や chain-of-thought reasoning の効果に関する ablation の詳細は要旨からは不明

6. 次に読むべき論文は?

- NuScenes benchmark における end-to-end planner の代表的手法(例: 既存の end-to-end trajectory planning 研究) - 最近の VLM/LLM ベースの自動運転 planner(要旨で比較対象として言及) - Trajectory Preference Optimization (TPO) に関連する preference optimization 研究 - Vision-Language Model を用いた自動運転の semantic grounding / chain-of-thought reasoning 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yudong Liu, Spencer Hallyburton, Jiwoo Kim, Yueqian Lin, Yiming Li, Qinsi Wang, Hui Ye, Jingwei Sun, Miroslav Pajic, Yiran Chen, Hai Li

分類: cs.RO, cs.AI

原文アブストラクト

Trajectory planning is a fundamental yet challenging component of autonomous driving. End-to-end planners frequently falter under adverse weather, unpredictable human behavior, or complex road layouts, primarily because they lack strong generalization or few-shot capabilities beyond their training data. We propose LLaViDA, a Large Language Vision Driving Assistant that leverages a Vision-Language Model (VLM) for object motion prediction, semantic grounding, and chain-of-thought reasoning for trajectory planning in autonomous driving. A two-stage training pipeline--supervised fine-tuning followed by Trajectory Preference Optimization (TPO)--enhances scene understanding and trajectory planning by injecting regression-based supervision, produces a powerful "VLM Trajectory Planner for Autonomous Driving." On the NuScenes benchmark, LLaViDA surpasses state-of-the-art end-to-end and other recent VLM/LLM-based baselines in open-loop trajectory planning task, achieving an average L2 trajectory error of 0.31 m and a collision rate of 0.10% on the NuScenes test set. The code for this paper is available at GitHub.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI