Imagine-2-Drive: マルチモーダル拡散ポリシーによる高忠実度ワールドモデル活用
Imagine-2-Drive: Leveraging High-Fidelity World Models via Multi-Modal Diffusion Policies
拡散モデルで未来の観測を一括生成する高忠実度ワールドモデルと、多様な軌道分布を表現する拡散ポリシーを組み合わせ、自動運転の強化学習を少ないオンライン相互作用で高精度化した研究。
著者: Anant Garg, K Madhava Krishna
分類: cs.RO, cs.AI
原文アブストラクト
World Model-based Reinforcement Learning (WMRL) enables sample efficient policy learning by reducing the need for online interactions which can potentially be costly and unsafe, especially for autonomous driving. However, existing world models often suffer from low prediction fidelity and compounding one-step errors, leading to policy degradation over long horizons. Additionally, traditional RL policies, often deterministic or single Gaussian-based, fail to capture the multi-modal nature of decision-making in complex driving scenarios. To address these challenges, we propose Imagine-2-Drive, a novel WMRL framework that integrates a high-fidelity world model with a multi-modal diffusion-based policy actor. It consists of two key components: DiffDreamer, a diffusion-based world model that generates future observations simultaneously, mitigating error accumulation, and DPA (Diffusion Policy Actor), a diffusion-based policy that models diverse and multi-modal trajectory distributions. By training DPA within DiffDreamer, our method enables robust policy learning with minimal online interactions. We evaluate our method in CARLA using standard driving benchmarks and demonstrate that it outperforms prior world model baselines, improving Route Completion and Success Rate by 15% and 20% respectively.
関連論文
- 負例を活用した統合ワールドアクションモデルによるエンドツーエンド自動運転の安全強化自動運転/ワールドモデル
- 関係性に基づく潜在ワールドモデルによる自動運転自動運転/ワールドモデル
- インフラ中心のワールドモデル:路側知覚における時間的深さと空間的広がりの橋渡し自動運転/ワールドモデル
- 車両ダイナミクスを組み込んだ自動運転向けワールドモデル自動運転/ワールドモデル
- ADriver-I: 自動運転のための汎用ワールドモデル自動運転/ワールドモデル
