日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/VLAarXiv:2509.15968

CoReVLA:長尾シナリオ向けの収集と洗練による二段階エンドツーエンド自動運転フレームワーク

CoReVLA: A Dual-Stage End-to-End Autonomous Driving Framework for Long-Tail Scenarios via Collect-and-Refine

シェア:XThreadsFacebookLINEはてブBluesky

長尾シナリオでの自動運転性能を向上させるため、VLAモデルをCAVEシミュレータで収集した人間の介入データとDPOで継続学習する二段階フレームワークを提案。

詳しい要約

1. どんなもの?

- 長尾・安全クリティカルなシナリオでの自動運転性能向上を狙う、継続学習型の end-to-end 自動運転フレームワーク CoReVLA の提案。 - Vision-Language Action (VLA) モデルを基盤とし、データの Collection と行動の Refinement からなる二段階プロセスを採用。 - 長尾シナリオを『ドライバーのテイクオーバーが発生する状況』として捉え、その経験を学習に活用する点が特徴。

2. 先行研究と比べてどこがすごい?

- 従来の AD システムは長尾・安全クリティカルな稀なケースで性能が限られ、事故が偏って発生する問題があった。 - VLA モデルは推論能力が高いが、高品質データの不足と非効率な学習がボトルネックだった。 - CoReVLA はテイクオーバーデータの収集と DPO による選好学習を組み合わせ、Bench2Drive で SOTA を DS で 7.96、SR で 15% 上回る。

3. 技術・手法の肝は?

- 第一段階: オープンソースの driving QA データセットの混合でモデルを joint fine-tuning し、運転シナリオの基礎理解を獲得。 - 第二段階: Cave Automatic Virtual Environment (CAVE) シミュレーション上にモデルを配備し、リアルタイム対話からドライバーのテイクオーバーデータを収集。 - 各テイクオーバーをモデルが確実に扱えない長尾シナリオの指標とみなし、Direct Preference Optimization (DPO) で人間の選好から直接学習。手設計報酬による reward hacking を回避。

4. どうやって有効だと検証した?

- オープンループおよびクローズドループの広範な実験を実施。 - Bench2Drive ベンチマークで Driving Score (DS) 72.18、Success Rate (SR) 50% を達成し、長尾・安全クリティカルなシナリオで SOTA を DS で 7.96、SR で 15% 上回った。 - ケーススタディで、過去のテイクオーバー経験を活用し類似の失敗しやすいシナリオで継続的に性能改善できることを示した。

5. 議論はある?

- 長尾シナリオをテイクオーバーとして収集し DPO で洗練する枠組みの有効性を主張。 - 手設計報酬を避けることで reward hacking を回避できる点を利点として挙げる。 - 一方、CAVE シミュレーション依存やテイクオーバー収集のコスト、実環境への一般化については要旨からは不明。

6. 次に読むべき論文は?

- Vision-Language Action (VLA) モデルに関する研究。 - Direct Preference Optimization (DPO) の原論文。 - Bench2Drive ベンチマークの論文。 - 自動運転の end-to-end 学習および継続学習に関する関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shiyu Fang, Yiming Cui, Haoyang Liang, Chen Lv, Peng Hang, Jian Sun

分類: cs.RO, cs.CV

原文アブストラクト

Autonomous Driving (AD) systems have made notable progress, but their performance in long-tail, safety-critical scenarios remains limited. These rare cases contribute a disproportionate number of accidents. Vision-Language Action (VLA) models have strong reasoning abilities and offer a potential solution, but their effectiveness is limited by the lack of high-quality data and inefficient learning in such conditions. To address these challenges, we propose CoReVLA, a continual learning end-to-end autonomous driving framework that improves the performance in long-tail scenarios through a dual-stage process of data Collection and behavior Refinement. First, the model is jointly fine-tuned on a mixture of open-source driving QA datasets, allowing it to acquire a foundational understanding of driving scenarios. Next, CoReVLA is deployed within the Cave Automatic Virtual Environment (CAVE) simulation platform, where driver takeover data is collected from real-time interactions. Each takeover indicates a long-tail scenario that CoReVLA fails to handle reliably. Finally, the model is refined via Direct Preference Optimization (DPO), allowing it to learn directly from human preferences and thereby avoid reward hacking caused by manually designed rewards. Extensive open-loop and closed-loop experiments demonstrate that the proposed CoReVLA model can accurately perceive driving scenarios and make appropriate decisions. On the Bench2Drive benchmark, CoReVLA achieves a Driving Score (DS) of 72.18 and a Success Rate (SR) of 50%, outperforming state-of-the-art methods by 7.96 DS and 15% SR under long-tail, safety-critical scenarios. Furthermore, case studies demonstrate the model's ability to continually improve its performance in similar failure-prone scenarios by leveraging past takeover experiences. All codea and preprocessed datasets are available at: https://github.com/FanGShiYuu/CoReVLA

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI