日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.19001

メタデータとタスク特化プロンプトによる堅牢な運転QA

Robust Driving QA through Metadata-Grounded Context and Task-Specific Prompts

シェア:XThreadsFacebookLINEはてブBluesky

自動運転の高次QAに向け、マルチモーダルLLMを6カメラ入力とシーン情報で条件付けし、自己一貫性とタスク別プロンプトで精度と堅牢性を向上させた。

詳しい要約

1. どんなもの?

- 自動運転向けの高次タスク(perception・prediction・planning)に答える2段階のvision-language QAシステム - Phase-1: 6カメラ入力+短い時間窓の履歴+chain-of-thought prompt(few-shot exemplars付き)で大規模multimodal LLM(Qwen2.5-VL-32B)を条件付け - self-consistency ensemble(複数の推論チェーンをサンプリング)で回答信頼性を向上 - Phase-2: nuScenesのscene metadata(object annotations、ego-vehicle state等)とカテゴリ別質問指示(perception/prediction/planning用の個別prompt)でpromptを拡張

2. 先行研究と比べてどこがすごい?

- ベースラインのQwen2.5モデルをdriving QAベンチマークで大幅に上回る - Phase-1で5 history frames+10-shot promptingによりoverall accuracy 65.1%(zero-shotの62.61%に対し改善) - self-consistency適用で66.85%に向上、Phase-2では67.37%を達成 - 深刻なvisual corruption下でも96%のaccuracyを維持 - 事前学習済みvision-languageモデルに対し、丁寧に設計したpromptとcontextual groundingが高次driving QAを大きく強化できることを示す

3. 技術・手法の肝は?

- 2段階構成のvision-language QAパイプライン - Phase-1: 6カメラ入力+短い時間窓の履歴をQwen2.5-VL-32Bに与え、chain-of-thought promptとfew-shot exemplarsで条件付け - self-consistency ensembleにより複数サンプルの推論チェーンを統合し回答信頼性を向上 - Phase-2: nuScenesのscene metadata(object annotations、ego-vehicle state等)をpromptに追加 - カテゴリ別質問指示としてperception・prediction・planningそれぞれに別promptを用意

4. どうやって有効だと検証した?

- driving QAベンチマーク上で実験 - ベースラインQwen2.5モデルとの比較で有意な性能向上を確認 - Phase-1: 5 history frames+10-shotで65.1%、zero-shotで62.61%、self-consistencyで66.85% - Phase-2: 67.37%のoverall accuracy - 深刻なvisual corruption下で96%のaccuracyを維持することを確認

5. 議論はある?

- 要旨からは不明(限界や失敗事例、計算コスト、self-consistencyのサンプル数等の詳細な議論は記述されていない) - 示されているのは、prompt engineeringとcontextual groundingが事前学習済みvision-languageモデルの高次driving QAを大きく改善するという主張

6. 次に読むべき論文は?

- Qwen2.5-VL-32B(本手法の基盤モデル) - Qwen2.5(比較対象のベースライン) - nuScenes(scene metadataの出典データセット) - chain-of-thought promptingおよびself-consistency ensembleの関連研究 - driving QAベンチマークの関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seungjun Yu, Junsung Park, Youngsun Lim, Hyunjung Shim

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

We present a two-phase vision-language QA system for autonomous driving that answers high-level perception, prediction, and planning questions. In Phase-1, a large multimodal LLM (Qwen2.5-VL-32B) is conditioned on six-camera inputs, a short temporal window of history, and a chain-of-thought prompt with few-shot exemplars. A self-consistency ensemble (multiple sampled reasoning chains) further improves answer reliability. In Phase-2, we augment the prompt with nuScenes scene metadata (object annotations, ego-vehicle state, etc.) and category-specific question instructions (separate prompts for perception, prediction, planning tasks). In experiments on a driving QA benchmark, our approach significantly outperforms the baseline Qwen2.5 models. For example, using 5 history frames and 10-shot prompting in Phase-1 yields 65.1% overall accuracy (vs.62.61% with zero-shot); applying self-consistency raises this to 66.85%. Phase-2 achieves 67.37% overall. Notably, the system maintains 96% accuracy under severe visual corruption. These results demonstrate that carefully engineered prompts and contextual grounding can greatly enhance high-level driving QA with pretrained vision-language models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI