工事区間におけるVLM軌道計画の課題：緩和策と堅牢な自動運転に向けて
Work Zones challenge VLM Trajectory Planning: Toward Mitigation and Robust Autonomous Driving
VLMによる工事区間の軌道計画を初めて体系的に調査し、失敗パターンを特定した上で、RAGを統合したREACT-Driveを提案して精度と推論速度を改善した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yifan Liao, Zhen Sun, Xiaoyun Qiu, Zixiao Zhao, Wenbing Tang, Xinlei He, Xinhu Zheng, Tianwei Zhang, Xinyi Huang, Xingshuo Han
分類: cs.RO, cs.AI, cs.CV
原文アブストラクト
Visual Language Models (VLMs), with powerful multimodal reasoning capabilities, are gradually integrated into autonomous driving by several automobile manufacturers to enhance planning capability in challenging environments. However, the trajectory planning capability of VLMs in work zones, which often include irregular layouts, temporary traffic control, and dynamically changing geometric structures, is still unexplored. To bridge this gap, we conduct the \textit{first} systematic study of VLMs for work zone trajectory planning, revealing that mainstream VLMs fail to generate correct trajectories in $68.0%$ of cases. To better understand these failures, we first identify candidate patterns via subgraph mining and clustering analysis, and then confirm the validity of $8$ common failure patterns through human verification. Building on these findings, we propose REACT-Drive, a trajectory planning framework that integrates VLMs with Retrieval-Augmented Generation (RAG). Specifically, REACT-Drive leverages VLMs to convert prior failure cases into constraint rules and executable trajectory planning code, while RAG retrieves similar patterns in new scenarios to guide trajectory generation. Experimental results on the ROADWork dataset show that REACT-Drive yields a reduction of around $3\times$ in average displacement error relative to VLM baselines under evaluation with Qwen2.5-VL. In addition, REACT-Drive yields the lowest inference time ($0.58$s) compared with other methods such as fine-tuning ($17.90$s). We further conduct experiments using a real vehicle in 15 work zone scenarios in the physical world, demonstrating the strong practicality of REACT-Drive.
関連論文
- 成果指向蒸留：自動運転におけるVLM推論を進化させる教師-学生フレームワーク自動運転/VLM
- Robusto-2: リマとニューヨーク市における自動運転のための人間とVLMのベンチマーキング自動運転/VLM
- CVPR2024 E2Eチャレンジ準優勝ソリューション：視覚言語モデルを用いたエンドツーエンド自動運転自動運転/VLM
- MTRDrive: 記憶とツールの協調推論によるコーナーケースに頑健な自動運転自動運転/VLM
- VLAD: 階層的計画と解釈可能な意思決定プロセスを備えたVLM拡張自動運転フレームワーク自動運転/VLM
- VLM-Auto: 複雑な道路シーンに対応する人間らしい振る舞いと理解を備えたVLMベースの自動運転アシスタント自動運転/VLM
