日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2607.02841

CLEAR: エンドツーエンド自動運転のための大規模クローズドループ強化学習

CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

エンドツーエンド自動運転のためのVLAモデルを、模倣学習ではなく強化学習でクローズドループ訓練するシステムCLEARを提案。事前学習済みVLAのウェイポイント事前分布に残差ポリシーを学習し、シミュレータと学習器を分離したパイプラインで並列環境を増やし、性能を向上させた。

詳しい要約

1. どんなもの?

CLEARは、エンドツーエンド自動運転(E2E-AD)のためのクローズドループ強化学習(RL)システムである。事前学習済みのVision-Language-Action (VLA)モデルを基盤とし、そのwaypoint事前分布に残差waypointポリシーを学習することで、オープンループ訓練とクローズドループ推論の分布シフト問題を解決する。また、シミュレータと学習器を異なる計算グループに配置するヘテロジニアスパイプラインを設計し、並列シミュレーション環境数を大幅に増加させることで、RLのスケーラビリティを実現する。CARLA longest6 v2とBench2Driveのベンチマークで最先端性能を達成した。

2. 先行研究と比べてどこがすごい?

既存のVLAベースのポリシーは主に模倣学習を採用しており、ログされた専門家軌道との距離ベースのメトリクスを最適化するため、オープンループ訓練とクローズドループ推論の間の分布シフトが生じ、クローズドループ計画の性能が最適ではない。CLEARは、RLを用いたクローズドループ訓練を大規模に可能にし、このギャップを埋める点が新しい。また、事前学習VLAポリシーの知識を活用する残差学習と、リソース競合を避けつつ並列環境数を増やすヘテロジニアスパイプラインの設計が独自性を持つ。

3. 技術・手法の肝は?

手法の肝は、事前学習済みVLAポリシーから得られるwaypoint事前分布に残差waypointポリシーを学習することである。これにより、VLA内の知識を効果的に活用しつつ、RLによるクローズドループ最適化を可能にする。さらに、シミュレータとVLA学習器を異なる計算グループに配置するヘテロジニアスパイプラインを設計し、並列シミュレーション環境数を劇的に増加させる。これにより、データを多く必要とするRLのスケールアップを実現し、リソース競合を回避して訓練の安定性を維持する。報酬は単純なものを使用している。

4. どうやって有効だと検証した?

CARLA longest6 v2とBench2Driveという挑戦的なベンチマークで評価し、単純な報酬を用いて、CLEARが従来手法を大幅に上回り、新しい最先端性能を達成したことを示した。具体的な数値や比較対象は要旨からは不明だが、複数のベンチマークでの優位性が検証されている。

5. 議論はある?

要旨からは、CLEARの限界や議論点は明示されていない。ただし、RLはデータを多く必要とするため、シミュレーション環境の並列化が重要であると述べられており、実世界への適用や報酬設計の複雑さなどが潜在的な課題として考えられるが、要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている先行研究は、VLAモデルを用いたE2E-ADのパラダイムと、模倣学習に基づく既存のVLAポリシーである。また、RLを自動運転に適用した研究や、CARLAベンチマークでの関連手法が挙げられる。具体的には、Vision-Language-Actionモデルに関する論文や、CARLA longest6 v2、Bench2Driveで評価された他のE2E-AD手法が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

分類: cs.RO, cs.CV

原文アブストラクト

End-to-end autonomous driving (E2E-AD) aims to directly map raw sensor information to driving actions. Recently, with the rapid advancement of multi-modal large language models (MLLMs), researchers have proposed the paradigm of Vision-Language-Action (VLA) models for E2E-AD, where it seeks to integrate visual perception, language understanding and action prediction within a single policy. However, existing VLA-based policies largely adopts imitation learning, where it only learns to drive by optimizing distance-based metrics w.r.t. logged expert trajectories. Such distribution shift between open-loop training and closed-loop inference leads to suboptimal performance in closed-loop planning. To close this gap, we present CLEAR, a system that enables closed-loop training using Reinforcement Learning (RL) at scale for E2E-AD. We propose to learn a novel residual waypoint policy around the waypoint prior from pretrained VLA policies, effectively harnessing the knowledge within. On another front, one of the key challenges to scale up RL for vision-based policies is the number of parallel simulation environments since RL is data hungry. To that end, we design a heterogeneous pipeline that places the simulator and the VLA learner on distinct compute groups, which allows us to dramatically increase the number of simulation environments running in parallel while avoiding resource contention and maintaining training stability. We show that with a simple reward, CLEAR significantly outperforms previous methods and sets new state-of-the-art performance on the challenging benchmarks of CARLA longest6 v2 and Bench2Drive.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI