DragTraffic: 自動運転のための対話的で制御可能な交通シーン生成
DragTraffic: Interactive and Controllable Traffic Scene Generation for Autonomous Driving
画像生成のDragGANに着想を得て、条件付き拡散モデルにより非専門家でも多様でリアルな交通シナリオを対話的に生成・制御できるフレームワークを提案した。
著者: Sheng Wang, Ge Sun, Fulong Ma, Tianshuai Hu, Qiang Qin, Yongkang Song, Lei Zhu, Junwei Liang
分類: cs.RO, cs.CV
原文アブストラクト
Evaluating and training autonomous driving systems require diverse and scalable corner cases. However, most existing scene generation methods lack controllability, accuracy, and versatility, resulting in unsatisfactory generation results. Inspired by DragGAN in image generation, we propose DragTraffic, a generalized, interactive, and controllable traffic scene generation framework based on conditional diffusion. DragTraffic enables non-experts to generate a variety of realistic driving scenarios for different types of traffic agents through an adaptive mixture expert architecture. We employ a regression model to provide a general initial solution and a refinement process based on the conditional diffusion model to ensure diversity. User-customized context is introduced through cross-attention to ensure high controllability. Experiments on a real-world driving dataset show that DragTraffic outperforms existing methods in terms of authenticity, diversity, and freedom. Demo videos and code are available at https://chantsss.github.io/Dragtraffic/.
関連論文
- SceneBloom: 実用的で多様なレイアウトを持つ屋内環境をエージェント的に生成する身体性学習向けフレームワークシーン生成
- シーンリターゲティング:類推的転移による物体配置の学習シーン生成
- 配置と可動性を超えて:身体化インタラクションのための使用駆動型コードシーンシーン生成
- HomeWorld: フロアプランから家具付きまでを統合した、制御可能で高密度にインタラクティブな住宅全体シーン生成フレームワークシーン生成
- PhysOmni: 単一画像からの物理基盤マルチオブジェクトシーン生成とリアルタイムインタラクションシーン生成
- HetScene: 不均一性を考慮した拡散モデルによる高密度屋内シーン生成シーン生成
