自動運転のシーン予測のための拡散トランスフォーマーワールドアクションモデル

自動運転車の自己の計画制御から将来のカメラシーンを予測する、action-conditioned world model の研究。 - 現在の front-camera latent と ego-action 列を入力し、将来の scene latent を予測。 - 凍結 decoder で 256×256 フレームを最大 8 秒先まで描画。 - 150 の held-out nuScenes scene で評価。 - コンパクトな latent world model で planning/simulation を実世界 rollout なしに可能にする狙い。

従来の compact な world model では将来が曖昧で、標準的な distortion metrics が現実的な予測よりぼやけた回帰平均を報酬してしまう問題があった。 - 本研究はこの指標の誤導性を明示し、perception-distortion frontier を示す。 - 回帰より diffusion が真のフレーム分布に遥かに近いことを FID/KID で示す。 - 単一パスモデルの運動量不足を jump model で補う点も先行研究と異なる。

latent Diffusion Transformer (DiT) を訓練し、制御された diagnosis で必要な 4 要素を同定。 - spatial tokens、x0 objective、residual anchoring、target uncertainty に合わせた sampling。 - Stable-Diffusion-VAE の encode-predict-decode パイプライン。 - 6 つの凍結 encoder を比較し、V-JEPA2 with temporal context が最良。 - 1.7M パラメータの compact な jump model を設計。

150 の held-out nuScenes scene で評価。 - 6 つの凍結 encoder を比較し、V-JEPA2 with temporal context が steering RMSE を最良の単一フレーム encoder より 40% 削減。 - Inception-based FID と KID で評価し、diffusion は KID 0.078 対 regression 0.375 (4.8× 改善)。 - train-derived calibration で test-time ground truth なしに実用的に。 - steering が scene displacement を駆動 (Spearman ρ=0.81、regression は -0.18)。 - jump model が ground-truth motion magnitude を 1.02× GT で回復。

中心的な緊張として、distortion metrics (cosine similarity, SSIM) がぼやけた平均を好み、diffusion が真のフレーム分布に近いことを覆い隠す点を指摘。 - 単一パスモデルの運動量制限を shared-present anchor に帰属。 - jump model で完全な ground-truth motion magnitude を回復できることを示す。 - その他の議論や限界は要旨からは不明。

要旨で参照/比較されている研究や関連手法を挙げる。 - V-JEPA2 (encoder 比較のベースライン) - Stable-Diffusion-VAE (encode-predict-decode パイプライン) - Diffusion Transformer (DiT) - nuScenes (評価データセット) - FID, KID, SSIM, cosine similarity (評価指標) - 同分野の定番として action-conditioned world models, latent world models も関連。