DreamerAD: 潜在世界モデルによる自動運転のための効率的な強化学習
DreamerAD: Efficient Reinforcement Learning via Latent World Model for Autonomous Driving
動画拡散モデルのサンプリングを100ステップから1ステップに圧縮し80倍高速化した潜在世界モデルで、自動運転の強化学習を安全かつ高頻度に訓練可能にした。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Pengxuan Yang, Yupeng Zheng, Deheng Qian, Zebin Xing, Qichao Zhang, Linbo Wang, Yichen Zhang, Shaoyu Guo, Zhongpu Xia, Qiang Chen, Junyu Han, Lingyun Xu, Yifeng Pan, Dongbin Zhao
分類: cs.LG, cs.RO
原文アブストラクト
We introduce DreamerAD, the first latent world model framework that enables efficient reinforcement learning for autonomous driving by compressing diffusion sampling from 100 steps to 1 - achieving 80x speedup while maintaining visual interpretability. Training RL policies on real-world driving data incurs prohibitive costs and safety risks. While existing pixel-level diffusion world models enable safe imagination-based training, they suffer from multi-step diffusion inference latency (2s/frame) that prevents high-frequency RL interaction. Our approach leverages denoised latent features from video generation models through three key mechanisms: (1) shortcut forcing that reduces sampling complexity via recursive multi-resolution step compression, (2) an autoregressive dense reward model operating directly on latent representations for fine-grained credit assignment, and (3) Gaussian vocabulary sampling for GRPO that constrains exploration to physically plausible trajectories. DreamerAD achieves 87.7 EPDMS on NavSim v2, establishing state-of-the-art performance and demonstrating that latent-space RL is effective for autonomous driving.
関連論文
- OccWAM: シーンから自己へのフローマッチングを統合した占有ワールドアクションモデル自動運転/世界モデル
- DriveWLA：自動運転のための世界・言語・行動モデリングによる未来動態とシーン意味論の統合自動運転/世界モデル
- PhysWAM: 自動運転のための物理的に整合した世界行動モデル自動運転/世界モデル
- 自動運転のシーン予測のための拡散トランスフォーマーワールドアクションモデル自動運転/世界モデル
- Discrete-WAM: 世界モデルとポリシー学習のための統一離散ビジョン・アクショントークン編集自動運転/世界モデル
- VectorWorld: ベクトルグラフ上の拡散フローによる効率的なストリーミング世界モデル自動運転/世界モデル
