AppleVLM：高度な知覚と計画を強化した視覚言語モデルによるエンドツーエンド自動運転
AppleVLM: End-to-end Autonomous Driving with Advanced Perception and Planning-Enhanced Vision-Language Models
多視点時系列画像を融合する視覚エンコーダと、Bird's-Eye-View情報を符号化する計画モダリティを導入し、階層的Chain-of-Thoughtで微調整したVLMにより、エンドツーエンド自動運転の知覚・意思決定を強化した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yuxuan Han, Kunyuan Wu, Qianyi Shao, Renxiang Xiao, Zilu Wang, Cansen Jiang, Yi Xiao, Liang Hu, Yunjiang Lou
分類: cs.RO, cs.AI
原文アブストラクト
End-to-end autonomous driving has emerged as a promising paradigm integrating perception, decision-making, and control within a unified learning framework. Recently, Vision-Language Models (VLMs) have gained significant attention for their potential to enhance the robustness and generalization of end-to-end driving models in diverse and unseen scenarios. However, existing VLM-based approaches still face challenges, including suboptimal lane perception, language understanding biases, and difficulties in handling corner cases. To address these issues, we propose AppleVLM, an advanced perception and planning-enhanced VLM model for robust end-to-end driving. AppleVLM introduces a novel vision encoder and a planning strategy encoder to improve perception and decision-making. Firstly, the vision encoder fuses spatial-temporal information from multi-view images across multiple timesteps using a deformable transformer mechanism, enhancing robustness to camera variations and facilitating scalable deployment across different vehicle platforms. Secondly, unlike traditional VLM-based approaches, AppleVLM introduces a dedicated planning modality that encodes explicit Bird's-Eye-View spatial information, mitigating language biases in navigation instructions. Finally, a VLM decoder fine-tuned by a hierarchical Chain-of-Thought integrates vision, language, and planning features to output robust driving waypoints. We evaluate AppleVLM in closed-loop experiments on two CARLA benchmarks, achieving state-of-the-art driving performance. Furthermore, we deploy AppleVLM on an AGV platform and successfully showcase real-world end-to-end autonomous driving in complex outdoor environments.
関連論文
- 視覚マスクと緊急ブレーキを備えたGatedVLA：AlpaSim閉ループ走行チャレンジ技術報告自動運転VLA
- STEER: 経路認識型適応推論による自動運転自動運転VLA
- SafeDriveVLA: ナビゲーション条件付きワールドモデルドリーミングによる衝突認識型エンドツーエンド自動運転自動運転VLA
- 走ってから歩け：VLM自動運転のためのRun-then-Walkスケジューリング戦略自動運転VLA
- SToRM: マルチモーダルLLMのための教師ありトークン削減による効率的なエンドツーエンド自動運転自動運転VLA
- 表現の相補性からデュアルシステムへ：VLMと視覚専用バックボーンの協調によるエンドツーエンド運転自動運転VLA
