SToRM: マルチモーダルLLMのための教師ありトークン削減による効率的なエンドツーエンド自動運転
SToRM: Supervised Token Reduction for Multi-modal LLMs toward efficient end-to-end autonomous driving
自動運転向けマルチモーダルLLMの視覚トークンを教師あり学習で削減し、全トークン使用時と同等の性能を保ちつつ計算効率を高めるフレームワークを提案。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Seo Hyun Kim, Jin Bok Park, Do Yeon Koo, Hogun Park, Il Yong Chun
分類: cs.CV, cs.AI, cs.RO
原文アブストラクト
In autonomous driving, end-to-end (E2E) driving systems that predict control commands directly from sensor data have achieved significant advancements. For safe driving in unexpected scenarios, these systems may additionally rely on human interventions such as natural language instructions. Using a multi-modal large language model (MLLM) facilitates human-vehicle interaction and can improve performance in such scenarios. However, this approach requires substantial computational resources due to its reliance on an LLM and numerous visual tokens from sensor inputs, which are limited in autonomous vehicles. Many MLLM studies have explored reducing visual tokens, but often suffer end-task performance degradation compared to using all tokens. To enable efficient E2E driving while maintaining performance comparable to using all tokens, this paper proposes the first Supervised Token Reduction framework for multi-modal LLMs (SToRM). The proposed framework consists of three key elements. First, a lightweight importance predictor with short-term sliding windows estimates token importance scores. Second, a supervised training approach uses an auxiliary path to obtain pseudo-supervision signals from an all-token LLM pass. Third, an anchor-context merging module partitions tokens into anchors and context tokens, and merges context tokens into relevant anchors to reduce redundancy while minimizing information loss. Experiments on the LangAuto benchmark show that SToRM outperforms state-of-the-art E2E driving MLLMs under the same reduced-token budget, maintaining all-token performance while reducing computational cost by up to 30x, and enabling real-time E2E driving on a standard GPU.
関連論文
- 視覚マスクと緊急ブレーキを備えたGatedVLA：AlpaSim閉ループ走行チャレンジ技術報告自動運転VLA
- STEER: 経路認識型適応推論による自動運転自動運転VLA
- SafeDriveVLA: ナビゲーション条件付きワールドモデルドリーミングによる衝突認識型エンドツーエンド自動運転自動運転VLA
- 走ってから歩け：VLM自動運転のためのRun-then-Walkスケジューリング戦略自動運転VLA
- AppleVLM：高度な知覚と計画を強化した視覚言語モデルによるエンドツーエンド自動運転自動運転VLA
- 表現の相補性からデュアルシステムへ：VLMと視覚専用バックボーンの協調によるエンドツーエンド運転自動運転VLA
