日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.13636

MindDrive: オンライン強化学習による自動運転向け視覚言語行動モデル

MindDrive: A Vision-Language-Action Model for Autonomous Driving via Online Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

自動運転VLAの課題を解決するため、LLMに2種類のLoRAを組み合わせ、離散的な言語決定に対してオンライン強化学習を行うフレームワークを提案した。

詳しい要約

1. どんなもの?

- 自動運転向けの Vision-Language-Action (VLA) フレームワーク「MindDrive」 - 1つの LLM に2組の LoRA パラメータを持たせる構成 - Decision Expert: シナリオ推論と運転判断を担う - Action Expert: 言語的判断を実行可能な軌道へ動的に対応付ける - オンライン強化学習により試行錯誤学習を行う点が特徴 - 軽量な Qwen-0.5B LLM を用いる

2. 先行研究と比べてどこがすごい?

- 既存の自動運転 VLA は主に Imitation Learning (IL) に依存 - IL は distribution shift や causal confusion を抱える - オンライン強化学習はこれらの課題に対処し得るが、連続行動空間での探索効率が低い - MindDrive は連続行動空間ではなく、離散的な言語運転判断の有限集合上で試行錯誤 - 複雑シナリオでの最適判断、人間らしい運転、効率的探索のバランスを狙う - 自動運転 VLA におけるオンライン強化学習の有効性を初めて示したと主張

3. 技術・手法の肝は?

- 単一 LLM に2組の LoRA を付与 - Decision Expert がシナリオ推論と運転判断を生成 - Action Expert が言語判断を軌道へマッピング - 軌道レベルの報酬を推論空間へフィードバック - 連続行動空間ではなく離散的な言語判断上で試行錯誤 - これによりオンライン強化学習の探索効率を改善 - 詳細なアルゴリズムや報酬設計は要旨からは不明

4. どうやって有効だと検証した?

- 難易度の高い Bench2Drive benchmark で評価 - 軽量な Qwen-0.5B LLM を使用 - Driving Score (DS) 78.04 - Success Rate (SR) 55.09% - ベースラインとの比較詳細やアブレーションは要旨からは不明

5. 議論はある?

- 連続行動空間ではなく離散的な言語判断上で強化学習する設計の妥当性 - 軌道レベル報酬を推論空間へ戻す際の報酬設計やスケーリング - 軽量 LLM での性能とスケール時の挙動 - 実車や多様なシナリオへの汎化 - これら具体的な議論は要旨からは不明

6. 次に読むべき論文は?

- Imitation Learning ベースの自動運転 VLA 研究(比較対象として言及) - Bench2Drive benchmark の原論文 - 自動運転向けオンライン強化学習の先行研究 - LoRA を用いた LLM のマルチエキスパート化に関する研究 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyu Fu, Diankun Zhang, Zongchuang Zhao, Jianfeng Cui, Hongwei Xie, Bing Wang, Guang Chen, Hangjun Ye, Dingkang Liang, Xiang Bai

分類: cs.CV, cs.RO

原文アブストラクト

Current Vision-Language-Action (VLA) paradigms in autonomous driving primarily rely on Imitation Learning (IL), which introduces inherent challenges such as distribution shift and causal confusion. Online Reinforcement Learning offers a promising pathway to address these issues through trial-and-error learning. However, applying online reinforcement learning to VLA models in autonomous driving is hindered by inefficient exploration in continuous action spaces. To overcome this limitation, we propose MindDrive, a VLA framework comprising a large language model (LLM) with two distinct sets of LoRA parameters. The one LLM serves as a Decision Expert for scenario reasoning and driving decision-making, while the other acts as an Action Expert that dynamically maps linguistic decisions into feasible trajectories. By feeding trajectory-level rewards back into the reasoning space, MindDrive enables trial-and-error learning over a finite set of discrete linguistic driving decisions, instead of operating directly in a continuous action space. This approach effectively balances optimal decision-making in complex scenarios, human-like driving behavior, and efficient exploration in online reinforcement learning. Using the lightweight Qwen-0.5B LLM, MindDrive achieves Driving Score (DS) of 78.04 and Success Rate (SR) of 55.09% on the challenging Bench2Drive benchmark. To the best of our knowledge, this is the first work to demonstrate the effectiveness of online reinforcement learning for the VLA model in autonomous driving.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI