予測から計画へ:協調的な状態行動予測のためのポリシーワールドモデル
From Forecasting to Planning: Policy World Model for Collaborative State-Action Prediction
運転の世界モデルと軌道計画を単一アーキテクチャに統合し、行動に依存しない未来状態予測を通じて計画を改善するPWMを提案。フロントカメラのみでマルチビュー・マルチモーダル手法に匹敵する性能を達成。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Zhida Zhao, Talas Fu, Yifan Wang, Lijun Wang, Huchuan Lu
分類: cs.CV, cs.AI, cs.CL, cs.RO
原文アブストラクト
Despite remarkable progress in driving world models, their potential for autonomous systems remains largely untapped: the world models are mostly learned for world simulation and decoupled from trajectory planning. While recent efforts aim to unify world modeling and planning in a single framework, the synergistic facilitation mechanism of world modeling for planning still requires further exploration. In this work, we introduce a new driving paradigm named Policy World Model (PWM), which not only integrates world modeling and trajectory planning within a unified architecture, but is also able to benefit planning using the learned world knowledge through the proposed action-free future state forecasting scheme. Through collaborative state-action prediction, PWM can mimic the human-like anticipatory perception, yielding more reliable planning performance. To facilitate the efficiency of video forecasting, we further introduce a dynamically enhanced parallel token generation mechanism, equipped with a context-guided tokenizer and an adaptive dynamic focal loss. Despite utilizing only front camera input, our method matches or exceeds state-of-the-art approaches that rely on multi-view and multi-modal inputs. Code and model weights will be released at https://github.com/6550Zhao/Policy-World-Model.
関連論文
- OccWAM: シーンから自己へのフローマッチングを統合した占有ワールドアクションモデル自動運転/世界モデル
- DriveWLA:自動運転のための世界・言語・行動モデリングによる未来動態とシーン意味論の統合自動運転/世界モデル
- PhysWAM: 自動運転のための物理的に整合した世界行動モデル自動運転/世界モデル
- 自動運転のシーン予測のための拡散トランスフォーマーワールドアクションモデル自動運転/世界モデル
- Discrete-WAM: 世界モデルとポリシー学習のための統一離散ビジョン・アクショントークン編集自動運転/世界モデル
- VectorWorld: ベクトルグラフ上の拡散フローによる効率的なストリーミング世界モデル自動運転/世界モデル
