日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2607.29031

Auto-JEPA: エンドツーエンド自動運転のための連続意図の潜在世界モデル

Auto-JEPA: A Latent World Model of Continuous Intent for End-to-End Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

将来の完全な世界を再構築する代わりに、将来の自己軌道に影響するシーン特徴のみに焦点を当てた、行動指向の潜在世界モデルを提案。意図埋め込みを予測し、固定軌跡メモリから実行可能な軌跡を検索・選択する。

詳しい要約

1. どんなもの?

Auto-JEPAは、自動運転のための行動指向の潜在世界モデルであり、将来の運転意図をjoint-embedding predictionによって連続的に予測する。視覚観測、自己運動履歴、ナビゲーションコマンドから、将来のego軌道の潜在表現に整合するintent embeddingを予測し、固定の軌道メモリから実行可能な軌道を検索し、シーン条件付き候補選択モジュールでランク付けする。視覚エンコーダは凍結され、明示的な知覚アノテーションや学習ベースの軌道生成器を必要としない。

2. 先行研究と比べてどこがすごい?

既存の自動運転ワールドモデルは、将来のビデオ、占有状態、BEV表現、エージェントの動きなどの密な予測を行うが、Auto-JEPAは将来の完全な世界を再構築するのではなく、将来のego行動に影響するシーン特徴のみに焦点を当てる。これにより、密な将来世界モデリングを回避しつつ、計画に必要な情報を効率的に学習する。

3. 技術・手法の肝は?

手法の核心は、視覚観測、自己運動履歴、ナビゲーションコマンドから将来のego軌道の潜在表現を予測するintent predictionモジュールと、予測されたintent embeddingを用いて固定の軌道メモリから軌道を検索し、シーン条件付きで候補をランク付けするcandidate selectionモジュールにある。視覚エンコーダは凍結され、軌道表現、意図予測、候補選択のタスク固有モジュールのみを最適化する。

4. どうやって有効だと検証した?

NAVSIM v1で91.3 PDMS、NAVSIM v2で89.1 EPDMSを達成した。セマンティックオクルージョン実験では、動的エージェント領域をマスクすると、等面積のランダムマスクと比較して平均意図変化が2.97倍になることを示した。さらに、将来の運転に影響する車両をオクルードすると予測意図と選択軌道が大きく変化するが、影響しない車両ではほぼ変化しないことを確認した。

5. 議論はある?

要旨からは、提案手法が計画関連の視覚特徴に焦点を当てることを示すが、計算コストや実世界でのロバスト性、他のシナリオへの一般化などについては言及されていない。また、固定軌道メモリの設計や、意図予測の解釈可能性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、NAVSIMベンチマークや、将来予測を行う既存のワールドモデル(例:Video World Models, Occupancy Prediction, BEV-based methods)が挙げられる。具体的には、NAVSIMの論文や、joint-embedding predictionを用いた自己教師あり学習(例:JEPA)の関連研究を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiwei Yang, Zhengxian Chen, Chaosheng Huang, Jun Li

分類: cs.RO, cs.AI

原文アブストラクト

Existing autonomous-driving world models typically perform dense prediction of future videos, occupancy states, BEV representations, or agent motion. We argue that planning need not reconstruct the complete future world, but only focus on scene features that affect future ego action. Based on this perspective, we propose Auto-JEPA, an action-oriented latent world model that learns continuous future driving intent through joint-embedding prediction. Given visual observations, egomotion history, and navigation commands, Auto-JEPA predicts an intent embedding aligned with the latent representation of the future ego trajectory. The predicted intent retrieves executable trajectories from a fixed trajectory memory, which are then ranked by a scene-conditioned candidate selection module. Auto-JEPA keeps the visual encoder frozen, requires no explicit perception annotations, and uses no learned trajectory generator. By optimizing only task-specific modules for trajectory representation, intent prediction, and candidate selection, Auto-JEPA achieves 91.3 PDMS on NAVSIM v1 and 89.1 EPDMS on NAVSIM v2. Semantic occlusion experiments show that masking dynamic-agent regions induces an average intent change 2.97x that of equal-area random masking. Moreover, occluding vehicles that affect future driving substantially changes the predicted intent and selected trajectory, whereas both remain essentially unchanged when non-influential vehicles are occluded. These results show that future-intent prediction encourages the model to focus on planning-relevant visual features and supports high-quality planning without dense future-world modeling.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI