潜在連鎖推論によるエンドツーエンド運転の世界モデリング
Latent Chain-of-Thought World Modeling for End-to-End Driving
運転行動の推論を自然言語ではなく、行動と整合した潜在空間で行うLCDriveを提案し、推論速度・軌道品質・強化学習の効果を向上させた。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Shuhan Tan, Kashyap Chitta, Yuxiao Chen, Ran Tian, Yurong You, Yan Wang, Wenjie Luo, Yulong Cao, Philipp Krahenbuhl, Marco Pavone, Boris Ivanovic
分類: cs.CV, cs.RO
原文アブストラクト
Recent Vision-Language-Action (VLA) models for autonomous driving explore inference-time reasoning as a way to improve driving performance and safety in challenging scenarios. Most prior work uses natural language to express chain-of-thought (CoT) reasoning before producing driving actions. However, text may not be the most efficient representation for reasoning. In this work, we present Latent-CoT-Drive (LCDrive): a model that expresses CoT in a latent language that captures possible outcomes of the driving actions being considered. Our approach unifies CoT reasoning and decision making by representing both in an action-aligned latent space. Instead of natural language, the model reasons by interleaving (1) action-proposal tokens, which use the same vocabulary as the model's output actions; and (2) world model tokens, which are grounded in a learned latent world model and express future outcomes of these actions. We cold start latent CoT by supervising the model's action proposals and world model tokens based on ground-truth future rollouts of the scene. We then post-train with closed-loop reinforcement learning to strengthen reasoning capabilities. On a large-scale end-to-end driving benchmark, LCDrive achieves faster inference, better trajectory quality, and larger improvements from interactive reinforcement learning compared to both non-reasoning and text-reasoning baselines.
関連論文
- 視覚マスクと緊急ブレーキを備えたGatedVLA:AlpaSim閉ループ走行チャレンジ技術報告自動運転VLA
- STEER: 経路認識型適応推論による自動運転自動運転VLA
- SafeDriveVLA: ナビゲーション条件付きワールドモデルドリーミングによる衝突認識型エンドツーエンド自動運転自動運転VLA
- 走ってから歩け:VLM自動運転のためのRun-then-Walkスケジューリング戦略自動運転VLA
- AppleVLM:高度な知覚と計画を強化した視覚言語モデルによるエンドツーエンド自動運転自動運転VLA
- SToRM: マルチモーダルLLMのための教師ありトークン削減による効率的なエンドツーエンド自動運転自動運転VLA
