日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2605.17284

CLAP: 対比学習による潜在空間プロンプト最適化を用いたエンドツーエンド自動運転

CLAP: Contrastive Latent-space Prompt Optimization for End-to-end Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

凍結したVLAモデルに、道路ブロックごとのソフトプロンプトをクラウドソーシングデータから最適化し、V2X通信で取得することで、長尾の困難なシナリオでの性能を向上させる適応フレームワークを提案。

詳しい要約

1. どんなもの?

- 対象: 長尾で安全クリティカルな運転シーン(工事区間や複雑な譲り合いなど)における end-to-end autonomous driving の脆弱性。 - 提案: CLAP (Contrastive Latent-space Prompt optimization) という location-aware な適応フレームワーク。 - 構成: 凍結した VLA (Vision-Language-Action) モデルに、roadblock ごとの soft prompt を付与。 - 特徴: crowdsourced data から最適化し、V2X 通信でオンデマンドに取得。 - 目的: データ拡大やモデル再訓練に頼らず長尾シーンを改善。

2. 先行研究と比べてどこがすごい?

- 従来: VLA ベースの end-to-end 運転は一般的なシーンでは高性能だが、長尾の安全クリティカルシーンで脆弱。 - 従来: データスケーリングやモデル訓練による改善が主流。 - 提案: データ拡大や再訓練ではなく、凍結 VLA に roadblock 単位の soft prompt を適応。 - 利点: 長尾シーンの planning error を 24% 削減しつつ、通常フレームの性能を維持(回帰なし)。 - 新規性: 位置情報と V2X を活用したオンデマンドなプロンプト取得。

3. 技術・手法の肝は?

- 観察1: VLA の hidden-state layer では、同じ roadblock のシーンが密にクラスタ化し、コンパクトな領域を占める。 - 観察2: 単一 roadblock 内では長尾フレームと通常フレームが潜在表現で強く混在。 - 手法: 2段階パイプライン。 - 第1段: supervised contrastive learning で roadblock 固有の hard-scene direction を発見。 - 第2段: directionally regularized prompt optimization で、難しいフレームを選択的に改善しつつ通常フレームの性能を保持。 - プロンプト: roadblock ごとの soft prompt を crowdsourced data から最適化し、V2X で取得。

4. どうやって有効だと検証した?

- ベンチマーク: NAVSIM benchmark を使用。 - バックボーン: 様々な state-of-the-art VLA backbones で評価。 - 結果: 挑戦的なシナリオの planning error を 24% 削減。 - 通常フレーム: 性能回帰なし。 - 総合: planning performance を大幅改善。

5. 議論はある?

- 要旨からは不明(議論や限界についての記述はない)。 - 示唆: 長尾シーンと通常シーンの潜在空間での混在が課題であり、方向性正則化で対処。 - 実用面: V2X 通信によるオンデマンド取得の実現性やスケーラビリティは要旨では触れられていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 明示的な参照はない。 - 関連手法: VLA (Vision-Language-Action) モデル、supervised contrastive learning、prompt optimization、V2X 通信。 - 同分野の定番: end-to-end autonomous driving、NAVSIM benchmark、long-tail scenario 対応。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruiyang Zhu, Yuehan He, Boyuan Zheng, Zesen Zhao, Ahmad Chalhoub, Qingzhao Zhang, Z. Morley Mao

分類: cs.CV, cs.AI, cs.LG, cs.RO

原文アブストラクト

End-to-end autonomous driving systems powered by Vision-Language-Action (VLA) models achieve strong performance on common driving scenarios, yet remain brittle in rare but safety-critical long-tail situations such as active construction zones and complex yielding geometries. In this paper, we present a method that addresses the long-tail challenging scenes beyond data scaling and model training. We introduce CLAP (Contrastive Latent-space Prompt optimization), a location-aware adaptation framework that augments a frozen VLA driving model with per-roadblock soft prompts, optimized from crowdsourced data and retrieved on demand via Vehicle-to-Everything (V2X) communication. Our approach rests on two observations from VLAs' latent space: (i) at the VLA's hidden-state layer, scenarios from the same roadblock cluster tightly and occupy compact regions of the latent space; and (ii) within a single roadblock, long-tail and normal frames are heavily intermixed in the latent representation, making it difficult to improve one without disturbing the other. CLAP addresses this via a two-stage pipeline: supervised contrastive learning to discover a roadblock-specific hard-scene direction, followed by directionally regularized prompt optimization that selectively improves challenging frames while preserving normal frame performance. On the NAVSIM benchmark with various state-of-the-art VLA backbones, CLAP reduces challenging scenario planning error by 24% with no regression on normal frames, significantly improving planning performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI