CVPR2024 E2Eチャレンジ準優勝ソリューション：視覚言語モデルを用いたエンドツーエンド自動運転
2nd Place Solution for CVPR2024 E2E Challenge: End-to-End Autonomous Driving Using Vision Language Model
単一カメラと視覚言語モデル（VLM）を組み合わせたエンドツーエンド自動運転手法を提案し、CVPR2024のE2Eチャレンジでカメラのみの手法として最高性能を達成した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Zilong Guo, Yi Luo, Long Sha, Dongxu Wang, Panqu Wang, Chenyang Xu, Yi Yang
分類: cs.CV, cs.RO
原文アブストラクト
End-to-end autonomous driving has drawn tremendous attention recently. Many works focus on using modular deep neural networks to construct the end-to-end archi-tecture. However, whether using powerful large language models (LLM), especially multi-modality Vision Language Models (VLM) could benefit the end-to-end driving tasks remain a question. In our work, we demonstrate that combining end-to-end architectural design and knowledgeable VLMs yield impressive performance on the driving tasks. It is worth noting that our method only uses a single camera and is the best camera-only solution across the leaderboard, demonstrating the effectiveness of vision-based driving approach and the potential for end-to-end driving tasks.
関連論文
- 成果指向蒸留：自動運転におけるVLM推論を進化させる教師-学生フレームワーク自動運転/VLM
- Robusto-2: リマとニューヨーク市における自動運転のための人間とVLMのベンチマーキング自動運転/VLM
- 工事区間におけるVLM軌道計画の課題：緩和策と堅牢な自動運転に向けて自動運転/VLM
- MTRDrive: 記憶とツールの協調推論によるコーナーケースに頑健な自動運転自動運転/VLM
- VLAD: 階層的計画と解釈可能な意思決定プロセスを備えたVLM拡張自動運転フレームワーク自動運転/VLM
- VLM-Auto: 複雑な道路シーンに対応する人間らしい振る舞いと理解を備えたVLMベースの自動運転アシスタント自動運転/VLM
