日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2604.04198

DriveVA: ビデオ行動モデルはゼロショット運転者である

DriveVA: Video Action Models are Zero-Shot Drivers

シェア:XThreadsFacebookLINEはてブBluesky

自動運転のための世界モデルDriveVAを提案し、将来の映像と行動系列を共有の生成過程で同時に予測することで、ゼロショットでの汎化性能を向上させた。

詳しい要約

1. どんなもの?

- 自動運転向けの新しい world model である DriveVA を提案 - 将来の映像予測と行動系列(trajectory)を共有潜在生成過程で同時にデコード - 大規模 video generation model の事前学習済み知識を活用し、運動ダイナミクスと物理的妥当性の prior を継承 - DiT-based decoder により future action sequences と videos を jointly 予測 - video continuation strategy を導入し、長時間 rollout の一貫性を強化 - NAVSIM benchmark で 90.9 PDM score を達成 - nuScenes と CARLA v2 上の Bench2Drive で zero-shot 性能と cross-domain generalization を示す

2. 先行研究と比べてどこがすごい?

- 従来の world-model-based planning は scene understanding と multi-modal future prediction に強いが、dataset や sensor configuration をまたぐ generalization が限定的 - 従来手法は planning と映像生成が loosely coupled で、visual imagination 中の video-trajectory consistency が低い - DriveVA は future visual forecasts と action sequences を shared latent generative process で jointly decode し、planning と scene evolution の整合性を高める - 大規模 video generation model の事前学習済み prior を継承することで、zero-shot および cross-domain 性能を向上 - 最先端の world-model-based…

3. 技術・手法の肝は?

- 共有潜在生成過程で future visual forecasts と action sequences を jointly decode する autonomous driving world model - 大規模 video generation model から motion dynamics と physical plausibility の prior を継承 - DiT-based decoder を採用し、future action sequences(trajectories)と videos を jointly 予測 - これにより planning と scene evolution の tight alignment を実現 - video continuation strategy を導入し、long-duration rollout consistency を強化 - 具体的なネットワーク構成や学習手順の詳細は要旨からは不明

4. どうやって有効だと検証した?

- NAVSIM benchmark で PDM-based planning performance を評価し、90.9 PDM score を達成 - zero-shot capability と cross-domain generalization を検証 - nuScenes で最先端の world-model-based planner と比較し、平均 L2 error を 78.9%、collision rate を 83.3% 削減 - CARLA v2 上の Bench2Drive で平均 L2 error を 52.5%、collision rate を 52.4% 削減 - 実験設定やベースラインの詳細は要旨からは不明

5. 議論はある?

- 従来の world-model-based planning の generalization 限界と video-trajectory consistency の低さを課題として指摘 - DriveVA は shared latent generative process と大規模 video generation model の prior によりこれらを克服 - zero-shot および cross-domain 性能の向上を示すが、具体的な限界や失敗ケース、計算コスト、リアルタイム性に関する議論は要旨からは不明 - 倫理面や安全性に関する議論も要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:world-model-based planning methods、state-of-the-art world-model-based planner - 関連手法:DiT-based decoder、video generation models、video continuation strategy - ベンチマーク:NAVSIM、nuScenes、Bench2Drive、CARLA v2 - 同分野の定番:autonomous driving における end-to-end planning、world model、video prediction、trajectory prediction に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mengmeng Liu, Diankun Zhang, Jiuming Liu, Jianfeng Cui, Hongwei Xie, Guang Chen, Hangjun Ye, Michael Ying Yang, Francesco Nex, Hao Cheng

分類: cs.CV, cs.RO

原文アブストラクト

Generalization is a central challenge in autonomous driving, as real-world deployment requires robust performance under unseen scenarios, sensor domains, and environmental conditions. Recent world-model-based planning methods have shown strong capabilities in scene understanding and multi-modal future prediction, yet their generalization across datasets and sensor configurations remains limited. In addition, their loosely coupled planning paradigm often leads to poor video-trajectory consistency during visual imagination. To overcome these limitations, we propose DriveVA, a novel autonomous driving world model that jointly decodes future visual forecasts and action sequences in a shared latent generative process. DriveVA inherits rich priors on motion dynamics and physical plausibility from well-pretrained large-scale video generation models to capture continuous spatiotemporal evolution and causal interaction patterns. To this end, DriveVA employs a DiT-based decoder to jointly predict future action sequences (trajectories) and videos, enabling tighter alignment between planning and scene evolution. We also introduce a video continuation strategy to strengthen long-duration rollout consistency. DriveVA achieves an impressive PDM-based planning performance of 90.9 PDM score on the NAVSIM benchmark. Extensive experiments also demonstrate the zero-shot capability and cross-domain generalization of DriveVA, which reduces average L2 error and collision rate by 78.9% and 83.3% on nuScenes and 52.5% and 52.4% on the Bench2Drive built on CARLA v2 compared with the state-of-the-art world-model-based planner.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI