日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

運転シミュレーション/世界モデルarXiv:2504.18576

DriVerse: マルチモーダル軌跡プロンプトとモーション整合による運転シミュレーション用ナビゲーション世界モデル

DriVerse: Navigation World Model for Driving Simulation via Multimodal Trajectory Prompting and Motion Alignment

シェア:XThreadsFacebookLINEはてブBluesky

単一画像と将来の軌跡から運転シーン動画を生成する世界モデル。軌跡をテキスト化し2Dモーションプライアとして与え、動き整合モジュールで時間的一貫性を高める。

詳しい要約

1. どんなもの?

- 単一画像と将来の走行軌跡から、ナビゲーションに沿った運転シーン動画を生成する生成モデル DriVerse を提案した研究。 - 軌跡を明示的な制御入力として用い、2D の基盤生成モデル上で高忠実度な運転動画合成を目指す。 - 自動運転アルゴリズム評価に使える精密な軌跡条件付き生成を狙う。

2. 先行研究と比べてどこがすごい?

- 従来の autonomous driving world model は軌跡や離散制御信号を直接生成パイプラインへ入力し、2D 基盤生成モデルの暗黙特徴との整合が悪く低忠実度になりやすかった。 - 粗い textual command や離散車両制御信号のみでは、軌跡固有の細粒度生成を導く精度が不足していた。 - DriVerse は軌跡を二形式で明示的に与え、nuScenes と Waymo で specialized model を上回ったと報告。

3. 技術・手法の肝は?

- 軌跡を predefined trend vocabulary で tokenize し textual prompt として言語統合する。 - 3D 軌跡を 2D spatial motion prior に変換し、運転シーン内の静的 content への制御を強化する。 - 動的 object 向けに lightweight motion alignment module を導入し、動的 pixel の inter-frame consistency を重視して長系列の時間的 coherence を改善する。

4. どうやって有効だと検証した?

- nuScenes と Waymo の両データセットで future video generation task を評価。 - specialized model と比較し、DriVerse が上回ったと報告。 - 追加データ不要かつ minimal training で達成したと述べる。詳細な評価指標は要旨からは不明。

5. 議論はある?

- 軌跡と 2D 基盤生成モデルの特徴整合が従来の課題であり、DriVerse は textual prompt と spatial motion prior の二形式で対処する。 - 動的 object の長系列 coherence を motion alignment module で改善する点を議論。 - 限界や失敗事例、計算コストの詳細は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及される autonomous driving world model および specialized model の関連研究。 - 軌跡条件付き動画生成の基盤となる 2D generative model 関連手法。 - nuScenes と Waymo を用いた future video generation の先行研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaofan Li, Chenming Wu, Zhao Yang, Zhihao Xu, Dingkang Liang, Yumeng Zhang, Ji Wan, Jun Wang

分類: cs.RO

原文アブストラクト

This paper presents DriVerse, a generative model for simulating navigation-driven driving scenes from a single image and a future trajectory. Previous autonomous driving world models either directly feed the trajectory or discrete control signals into the generation pipeline, leading to poor alignment between the control inputs and the implicit features of the 2D base generative model, which results in low-fidelity video outputs. Some methods use coarse textual commands or discrete vehicle control signals, which lack the precision to guide fine-grained, trajectory-specific video generation, making them unsuitable for evaluating actual autonomous driving algorithms. DriVerse introduces explicit trajectory guidance in two complementary forms: it tokenizes trajectories into textual prompts using a predefined trend vocabulary for seamless language integration, and converts 3D trajectories into 2D spatial motion priors to enhance control over static content within the driving scene. To better handle dynamic objects, we further introduce a lightweight motion alignment module, which focuses on the inter-frame consistency of dynamic pixels, significantly enhancing the temporal coherence of moving elements over long sequences. With minimal training and no need for additional data, DriVerse outperforms specialized models on future video generation tasks across both the nuScenes and Waymo datasets. The code and models will be released to the public.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI