RAP: 3Dラスタライゼーションで強化するエンドツーエンド計画

- 目的: end-to-end 自動運転の imitation learning における closed-loop での誤り蓄積・復帰不能問題を緩和するデータ拡張パイプライン。 - 提案: Rasterization Augmented Planning (RAP)。 - 注釈付き primitives の軽量な 3D Rasterization により代替視点・代替軌道を合成。 - Raster-to-Real の feature-space alignment で sim-to-real gap を橋渡し。 - 主張: 訓練には photorealistic rendering は不要で、semantic fidelity と scalability が重要。

- 先行: neural rendering や game engine による photorealistic digital twins は高コスト・低速で主に評価用途。 - 差分: 訓練目的では photorealistic を不要とし、軽量 rasterization で代替視点・軌道を生成。 - 利点: 復帰データや cross-agent view synthesis を低コストでスケール可能に生成。 - 結果: 4 ベンチマークで首位と報告。

- 核: 注釈付き primitives の 3D Rasterization による合成ビュー生成。 - counterfactual recovery maneuvers の生成。 - cross-agent view synthesis。 - 転移: Raster-to-Real feature-space alignment により合成と実データの特徴空間を整合。 - 構成: 上記を組み合わせた scalable な data augmentation pipeline。

- closed-loop robustness と long-tail generalization を評価。 - 4 ベンチマークで首位と報告。 - NAVSIM v1/v2 - Waymo Open Dataset Vision-based E2E Driving - Bench2Drive - 詳細な ablation や指標は要旨からは不明。

- 主張: photorealistic rendering は訓練に必須でなく、軽量 rasterization と feature alignment で十分スケール可能。 - 含意: 高コストな digital twin の代替として実用的。 - 限界・失敗条件・計算コスト比較の詳細は要旨からは不明。

- 比較対象: neural rendering ベースの photorealistic digital twins、game engine ベースの sim。 - 関連: imitation learning の closed-loop 劣化、sim-to-real の feature alignment 研究。 - 評価基盤: NAVSIM v1/v2、Waymo Open Dataset Vision-based E2E Driving、Bench2Drive の関連論文。