日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2603.13842

微調整だけでは不十分:エンドツーエンド自動運転のための協調的模倣学習と強化学習の並列フレームワーク

Fine-tuning is Not Enough: A Parallel Framework for Collaborative Imitation and Reinforcement Learning in End-to-end Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

模倣学習と強化学習を並列に統合し、逐次微調整による性能限界を克服する自動運転フレームワークを提案した。

詳しい要約

1. どんなもの?

エンドツーエンド自動運転のための並列フレームワーク PaIR-Drive を提案。IL と RL を並列ブランチで協調学習し、推論時に RL が IL ポリシーを活用して最終プランを最適化する。

2. 先行研究と比べてどこがすごい?

従来の逐次 RL fine-tuning は policy drift や性能上限、新 IL ポリシー適用時の RL 再学習が必要という問題があった。PaIR-Drive は並列で競合しない目的関数により完全協調最適化を実現し、RL 再学習不要で IL の知識を超える性能を達成。

3. 技術・手法の肝は?

IL と RL を並列ブランチに分離し、競合しない訓練目的を設定。RL ブランチに tree-structured trajectory neural sampler を導入し、GRPO を拡張して探索能力を向上。推論時は RL が IL ポリシーを利用して最終プランを最適化。

4. どうやって有効だと検証した?

NAVSIMv1 と v2 ベンチマークで評価。Transfuser と DiffusionDrive の IL ベースライン上で 91.2 PDMS と 87.9 EPDMS を達成。既存 RL fine-tuning 法を一貫して上回り、人間専門家の suboptimal 行動も修正可能。定性結果も高品質軌道生成を確認。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

Transfuser, DiffusionDrive, GRPO, NAVSIMv1, NAVSIMv2 に関連する研究。要旨で参照/比較されている。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhexi Lian, Haoran Wang, Xuerun Yan, Weimeng Lin, Xianhong Zhang, Yongyu Chen, Jia Hu

分類: cs.RO, cs.AI

原文アブストラクト

End-to-end autonomous driving is typically built upon imitation learning (IL), yet its performance is constrained by the quality of human demonstrations. To overcome this limitation, recent methods incorporate reinforcement learning (RL) through sequential fine-tuning. However, such a paradigm remains suboptimal: sequential RL fine-tuning can introduce policy drift and often leads to a performance ceiling due to its dependence on the pretrained IL policy. To address these issues, we propose PaIR-Drive, a general Parallel framework for collaborative Imitation and Reinforcement learning in end-to-end autonomous driving. During training, PaIR-Drive separates IL and RL into two parallel branches with conflict-free training objectives, enabling fully collaborative optimization. This design eliminates the need to retrain RL when applying a new IL policy. During inference, RL leverages the IL policy to further optimize the final plan, allowing performance beyond prior knowledge of IL. Furthermore, we introduce a tree-structured trajectory neural sampler to group relative policy optimization (GRPO) in the RL branch, which enhances exploration capability. Extensive analysis on NAVSIMv1 and v2 benchmark demonstrates that PaIR-Drive achieves Competitive performance of 91.2 PDMS and 87.9 EPDMS, building upon Transfuser and DiffusionDrive IL baselines. PaIR-Drive consistently outperforms existing RL fine-tuning methods, and could even correct human experts' suboptimal behaviors. Qualitative results further confirm that PaIR-Drive can effectively explore and generate high-quality trajectories.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI