M^4World: インタラクティブな物体操作と長時間ストリーミングのためのマルチビュー・マルチモーダル運転ワールドモデル
M$^\text{4}$World: A Multi-view Multimodal Driving World Model for Interactive Object Manipulation and Minute-long Streaming
運転シミュレーションのための生成ワールドモデルを提案し、複数視点のビデオとLiDARを合成しつつ、物体の操作と長時間の安定生成を可能にした。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Ke Cheng, Hanqiao Ye, Lei Shi, Yahui Liu, Yunhan Shen, Jingtao Dong, Zhenke Wang, Wenxuan Ao, Weixiang Xu, Kaining Huang, Shuhan Shen
分類: cs.CV, cs.RO
原文アブストラクト
Driving-world generation has emerged as a core capability for scalable autonomous-driving simulation, yet existing methods remain limited in object-level controllability and long-horizon stability. We present M$^\text{4}$World, a Multi-view and Multimodal generative driving world model that synthesizes future surround-view video streams and synchronized LiDAR scans while supporting interactive object Manipulation and stable Minute-long streaming. Fine-grained object manipulation is realized through a flexible conditioning interface that supports explicit control over both the spatial layout and visual appearance of individual objects. Stable minute-long streaming, on the other hand, is achieved through a multi-stage training framework that enables online causal generation in only four denoising steps while maintaining coherent world dynamics throughout extended rollouts. Building on these components, we introduce an efficient few-clip post-training as well as a suite of visual reference-conditioned generation models, preserving general generation ability while allowing rare-case customization for long-tail controllability. To assess controllability beyond realism, we further introduce an automated VLM-based judging pipeline that evaluates scene-level condition adherence, view-wise object controllability, and cross-view object consistency. Comprehensive experiments show that M$^\text{4}$World consistently delivers high generation quality, precise controllability, and stable minute-long streaming. Together with downstream long-tail augmentation and scene editing, these results demonstrate the potential of M$^\text{4}$World for controllable, scalable driving simulation.
関連論文
- 自動運転ポリシー評価のための閉ループシナリオオーケストレーション自動運転シミュレーション
- DreamStream: エンドツーエンド運転ポリシー向け生成的シミュレーション自動運転シミュレーション
- 信頼できるシミュレーションによる自動運転システムの仮想試験自動運転シミュレーション
- 平面を超えて：平面車両ダイナミクスと三次元道路形状の結合自動運転シミュレーション
- RoadWeaver: 自動運転シミュレーションのための大規模レーン級HDマップのゼロからの生成自動運転シミュレーション
- CommonRoad-Game: 自動運転のための人間参加型シミュレーションフレームワーク自動運転シミュレーション
