日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/エンドツーエンド計画arXiv:2507.17596

PRIX: 生ピクセルから計画を学習するエンドツーエンド自動運転

PRIX: Learning to Plan from Raw Pixels for End-to-End Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

カメラ画像のみを入力とし、LiDARやBEV表現を使わずに安全な走行軌道を直接予測する軽量なエンドツーエンド自動運転モデルを提案し、NavSimとnuScenesで最先端性能を達成した。

詳しい要約

1. どんなもの?

- カメラのみの入力を用いた end-to-end autonomous driving モデル PRIX を提案。 - LiDAR や BEV 表現を必要とせず、raw pixel から直接安全な軌道を予測する。 - 視覚特徴抽出器と generative planning head を組み合わせ、CaRT モジュールで多層視覚特徴を強化。 - NavSim と nuScenes ベンチマークで state-of-the-art 性能を達成し、推論速度とモデルサイズの効率性も高い。

2. 先行研究と比べてどこがすごい?

- 従来の end-to-end 運転モデルは大きなモデルサイズ、高価な LiDAR への依存、計算負荷の高い BEV 特徴表現が実用化の障壁だった。 - PRIX はカメラのみで動作し、BEV 表現や LiDAR を不要にすることで、量産車へのスケーラビリティを向上。 - 大規模な multimodal diffusion planner と同等の能力を持ちながら、推論速度とモデルサイズで大幅に効率的。

3. 技術・手法の肝は?

- 視覚特徴抽出器で raw pixel 入力から特徴を抽出し、generative planning head で安全な軌道を直接予測。 - 中核モジュール Context-aware Recalibration Transformer (CaRT) が多層視覚特徴を効果的に再調整し、計画の堅牢性を高める。 - 明示的な BEV 変換を省略し、エンドツーエンドで軌道生成までを一貫して学習。

4. どうやって有効だと検証した?

- NavSim および nuScenes ベンチマークで包括的な実験を実施。 - state-of-the-art 性能を達成し、より大きな multimodal diffusion planner と同等の能力を示すとともに、推論速度とモデルサイズの効率性を実証。 - 詳細な実験設定や比較手法は要旨からは不明。

5. 議論はある?

- カメラのみで LiDAR や BEV を不要にすることで実用展開の障壁を下げる点が議論の中心。 - 効率性と性能のトレードオフや、悪天候・夜間などカメラのみの限界に関する議論は要旨からは不明。 - オープンソース化により再現性と今後の発展が期待される。

6. 次に読むべき論文は?

- 比較対象として言及される大規模 multimodal diffusion planner に関する論文。 - NavSim および nuScenes ベンチマークにおける最先端の end-to-end 運転手法(例:BEV ベースの手法や LiDAR 併用手法)。 - 関連モジュールとして Transformer を用いた視覚特徴強化や generative planning に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Maciej K. Wozniak, Lianhang Liu, Yixi Cai, Patric Jensfelt

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

While end-to-end autonomous driving models show promising results, their practical deployment is often hindered by large model sizes, a reliance on expensive LiDAR sensors and computationally intensive BEV feature representations. This limits their scalability, especially for mass-market vehicles equipped only with cameras. To address these challenges, we propose PRIX (Plan from Raw Pixels). Our novel and efficient end-to-end driving architecture operates using only camera data, without explicit BEV representation and forgoing the need for LiDAR. PRIX leverages a visual feature extractor coupled with a generative planning head to predict safe trajectories from raw pixel inputs directly. A core component of our architecture is the Context-aware Recalibration Transformer (CaRT), a novel module designed to effectively enhance multi-level visual features for more robust planning. We demonstrate through comprehensive experiments that PRIX achieves state-of-the-art performance on the NavSim and nuScenes benchmarks, matching the capabilities of larger, multimodal diffusion planners while being significantly more efficient in terms of inference speed and model size, making it a practical solution for real-world deployment. Our work is open-source and the code will be at https://maxiuw.github.io/prix.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI