PlannerRFT：閉ループかつサンプル効率の良い微調整による拡散プランナーの強化学習
PlannerRFT: Reinforcing Diffusion Planners through Closed-Loop and Sample-Efficient Fine-Tuning
拡散ベースの自動運転プランナーを強化学習で微調整するフレームワークを提案し、二重分岐最適化と高速シミュレータnuMaxによりサンプル効率と性能を向上させた。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Hongchen Li, Tianyu Li, Jiazhi Yang, Haochen Tian, Caojun Wang, Lei Shi, Mingyang Shang, Zengrong Lin, Gaoqiang Wu, Zhihui Hao, Xianpeng Lang, Jia Hu, Hongyang Li
分類: cs.RO
原文アブストラクト
Diffusion-based planners have emerged as a promising approach for human-like trajectory generation in autonomous driving. Recent works incorporate reinforcement fine-tuning to enhance the robustness of diffusion planners through reward-oriented optimization in a generation-evaluation loop. However, they struggle to generate multi-modal, scenario-adaptive trajectories, hindering the exploitation efficiency of informative rewards during fine-tuning. To resolve this, we propose PlannerRFT, a sample-efficient reinforcement fine-tuning framework for diffusion-based planners. PlannerRFT adopts a dual-branch optimization that simultaneously refines the trajectory distribution and adaptively guides the denoising process toward more promising exploration, without altering the original inference pipeline. To support parallel learning at scale, we develop nuMax, an optimized simulator that achieves 10 times faster rollout compared to native nuPlan. Extensive experiments shows that PlannerRFT yields state-of-the-art performance with distinct behaviors emerging during the learning process.
関連論文
- GRID-Planner: 拡散プランニングのためのグラフ構造関係報酬整形自動運転プランニング
- INTERACT: アンカー条件付き予測と信頼領域精緻化による自動運転の対話型プランニング自動運転プランニング
- ConsistencyPlanner: 高速サンプリング整合性モデルによるリアルタイムプランニング自動運転プランニング
- ASSCG: 自動運転における高速・低速LLMプランニングのための適切なゲーティング自動運転プランニング
- AlignDrive: 横縦統合型エンドツーエンド自動運転プランニング自動運転プランニング
- フローマッチングに基づく対話行動モデリングを用いた自動運転プランニング自動運転プランニング
