Glad: 自動運転のためのストリーミングシーン生成器
Glad: A Streaming Scene Generator for Autonomous Driving
潜在変数伝播とストリーミングサンプラーにより、フレーム単位で時間的一貫性のある運転シーンの動画を生成するフレームワークを提案。
著者: Bin Xie, Yingfei Liu, Tiancai Wang, Jiale Cao, Xiangyu Zhang
分類: cs.RO, cs.GR
原文アブストラクト
The generation and simulation of diverse real-world scenes have significant application value in the field of autonomous driving, especially for the corner cases. Recently, researchers have explored employing neural radiance fields or diffusion models to generate novel views or synthetic data under driving scenes. However, these approaches suffer from unseen scenes or restricted video length, thus lacking sufficient adaptability for data generation and simulation. To address these issues, we propose a simple yet effective framework, named Glad, to generate video data in a frame-by-frame style. To ensure the temporal consistency of synthetic video, we introduce a latent variable propagation module, which views the latent features of previous frame as noise prior and injects it into the latent features of current frame. In addition, we design a streaming data sampler to orderly sample the original image in a video clip at continuous iterations. Given the reference frame, our Glad can be viewed as a streaming simulator by generating the videos for specific scenes. Extensive experiments are performed on the widely-used nuScenes dataset. Experimental results demonstrate that our proposed Glad achieves promising performance, serving as a strong baseline for online video generation. We will release the source code and models publicly.
関連論文
- SceneBloom: 実用的で多様なレイアウトを持つ屋内環境をエージェント的に生成する身体性学習向けフレームワークシーン生成
- シーンリターゲティング:類推的転移による物体配置の学習シーン生成
- 配置と可動性を超えて:身体化インタラクションのための使用駆動型コードシーンシーン生成
- HomeWorld: フロアプランから家具付きまでを統合した、制御可能で高密度にインタラクティブな住宅全体シーン生成フレームワークシーン生成
- PhysOmni: 単一画像からの物理基盤マルチオブジェクトシーン生成とリアルタイムインタラクションシーン生成
- HetScene: 不均一性を考慮した拡散モデルによる高密度屋内シーン生成シーン生成
