自動運転VLA2026/2/1arXiv:2602.10719

表現の相補性からデュアルシステムへ：VLMと視覚専用バックボーンの協調によるエンドツーエンド運転

From Representational Complementarity to Dual Systems: Synergizing VLM and Vision-Only Backbones for End-to-End Driving

VLMと視覚専用エンコーダの表現を比較し、それぞれが得意な場面が異なることを示した上で、両者を組み合わせた運転モデルHybridDriveVLAを提案した。

詳しい要約

1. どんなもの？

- Vision-Language-Action (VLA) 運転の研究。 - VLM と vision-only encoder の表現差を統一的な VLM-hidden + diffusion-policy 枠組みで比較。 - InternVL3, Qwen3VL などの VLM と ResNet, ViT, EVA-CLIP などの vision-only encoder を対象。 - 表現の類似性、行動差、精度-コスト trade-off の改善を問う。 - HybridDriveVLA と DualDriveVLA を提案。

2. 先行研究と比べてどこがすごい？

- VLM と vision-only encoder の違いが policy learning 後も残るかを体系的に検証。 - 従来は個別手法の性能比較が中心で、表現の共通/固有部分と行動への影響を分離して分析した点が新しい。 - Shared-Unique SAE で残差因子の行動関連性を示す。 - 相補性を利用し NAVSIM で oracle 上限 93.58 PDMS を報告。 - HybridDriveVLA は VLM baseline 比 +1.30 PDMS、DualDriveVLA は 15% のシナリオのみ VLM を呼び 1.9x 高速化。

3. 技術・手法の肝は？

- 統一的な VLM-hidden + diffusion-policy パラダイムで複数の VLM と vision-only encoder を比較。 - Shared-Unique SAE を用いて共通部分空間と非転移的な残差部分空間を分離。 - 残差因子と運転行動の関連を分析。 - HybridDriveVLA: VLM ブランチと ViT ブランチを並列実行し、学習済み trajectory scorer で選択。 - DualDriveVLA: fast-slow 構成で、15% のシナリオのみ VLM を起動。

4. どうやって有効だと検証した？

- NAVSIM ベンチマークで評価。 - oracle 上限 93.58 PDMS を確認。 - HybridDriveVLA は 92.10 PDMS で VLM baseline 比 +1.30。 - DualDriveVLA は 91.00 PDMS (+0.20) で約 1.9x の latency speedup。 - 表現類似性、行動差、運転スタイルの違いを実験的に検証。

5. 議論はある？

- VLM と vision-only policy は policy learning 後に大きな共通部分空間を共有するが、相互に転移不能な残差部分空間も保持。 - 残差因子は行動に関連: vision-only は単純で幾何支配的なシナリオに強く、VLM は long-tail で意味的に複雑・相互作用の多いケースに強い。 - 運転スタイルも異なり、vision-only は平均的に保守的、VLM はより積極的。 - 相補性の活用が精度-コスト trade-off 改善に有効。 - 限界や一般化可能性については要旨からは不明。

6. 次に読むべき論文は？

- InternVL3 - Qwen3VL - ResNet - ViT - EVA-CLIP - Shared-Unique SAE - diffusion-policy - NAVSIM - HybridDriveVLA - DualDriveVLA

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sining Ang, Yuguang Yang, Chenxu Dang, Canyu Chen, Cheng Chi, Haiyan Liu, Xuanyao Mao, Jason Bao, Xuliang, Bingchuan Sun, Yan Wang

分類: cs.RO, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) driving augments end-to-end (E2E) planning with language-enabled visual backbones, yet it remains unclear how vision-language models (VLMs) differ from standard vision-only encoders and whether these differences survive policy learning. We study this question under a unified VLM-hidden + diffusion-policy paradigm, comparing multiple VLM families/scales (e.g., InternVL3 and Qwen3VL) with vision-only encoders (e.g., ResNet, ViT, and EVA-CLIP). We ask three questions: how similar are their representations, do residual differences induce meaningful behavioral differences, and how can they improve accuracy-cost trade-offs? We find that VLM and vision-only policies share a substantial common subspace after policy learning, yet both retain non-transferable residual subspaces. Using a Shared-Unique SAE, we show that these residual factors are behaviorally relevant: vision-only encoders are stronger in simple, geometry-dominant scenarios, whereas VLMs are stronger in long-tail, semantically complex, and interaction-heavy cases. The two policy families also exhibit distinct driving styles, with vision-only models being more conservative on average and VLMs more assertive. Exploiting the complementarity between a VLM branch and a ViT branch yields an oracle upper bound of 93.58 PDMS on NAVSIM. We introduce HybridDriveVLA, which runs both branches and uses a learned trajectory scorer for selection, improving PDMS to 92.10 (+1.30 over the VLM baseline), and DualDriveVLA, a fast-slow variant that invokes the VLM in only 15% of scenarios, achieving 91.00 PDMS (+0.20) with about a 1.9x latency speedup over the VLM baseline. Code will be released.

arXivで原文を読む →arXiv概要ページ

表現の相補性からデュアルシステムへ：VLMと視覚専用バックボーンの協調によるエンドツーエンド運転

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell