日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2604.01259

Bench2Drive-VL: 視覚言語モデルを用いたクローズドループ自動運転のベンチマーク

Bench2Drive-VL: Benchmarks for Closed-Loop Autonomous Driving with Vision-Language Models

シェア:XThreadsFacebookLINEはてブBluesky

自動運転における視覚言語モデル(VLM)の評価を、従来のオープンループの静的QAではなく、クローズドループ環境で行うためのベンチマークを提案した論文。

詳しい要約

1. どんなもの?

- どんなもの? - VLMベースの自動運転(VLM4AD)のための閉ループ評価ベンチマーク。 - 既存のBench2Driveを拡張し、VLMを閉ループ環境に統合。 - 構成要素:DriveCommenter(QA生成)、統一プロトコル/インターフェース、推論・制御フレームワーク、開発エコシステム。 - コードと注釈付きデータセットをオープンソース化。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 既存のVLM4ADベンチマークは開ループの静的QAデータセットで評価。 - 閉ループ評価により、累積誤差や分布外入力下での性能を評価可能。 - 従来評価できなかった深刻な経路逸脱や路外逸脱を含む多様なQAペアを自動生成。 - 従来エージェントとVLMを同一環境で比較可能な統一プロトコルを提供。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - DriveCommenter:CARLA内の全運転状況に対し、行動に基づく多様なQAペアを自動生成。 - 統一プロトコルとインターフェース:VLMをBench2Drive閉ループ環境に直接接続。 - 柔軟な推論・制御フレームワーク:マルチフォーマット視覚入力と設定可能なグラフベースchain-of-thought実行をサポート。 - 完全な開発エコシステムを構築。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - 要旨からは不明。 - 閉ループ評価の有効性を主張しているが、具体的な実験結果や検証方法は記載なし。

5. 議論はある?

- 議論はある? - 要旨からは不明。 - 閉ループ評価の利点を強調しているが、限界や課題についての言及はない。

6. 次に読むべき論文は?

- 次に読むべき論文は? - Bench2Drive(拡張元のベンチマーク) - その他のVLM4AD関連研究(具体的な論文名は要旨に記載なし) - 閉ループ評価に関する一般的な自動運転研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaosong Jia, Yuqian Shao, Zhenjie Yang, Qifeng Li, Zhiyuan Zhang, Junchi Yan

分類: cs.RO

原文アブストラクト

With the rise of vision-language models (VLM), their application for autonomous driving (VLM4AD) has gained significant attention. Meanwhile, in autonomous driving, closed-loop evaluation has become widely recognized as a more reliable validation method than open-loop evaluation, as it can evaluate the performance of the model under cumulative errors and out-of-distribution inputs. However, existing VLM4AD benchmarks evaluate the model`s scene understanding ability under open-loop, i.e., via static question-answer (QA) dataset. This kind of evaluation fails to assess the VLMs performance under out-of-distribution states rarely appeared in the human collected datasets.To this end, we present Bench2Drive-VL, an extension of Bench2Drive that brings closed-loop evaluation to VLM-based driving, which introduces: (1) DriveCommenter, a closed-loop generator that automatically generates diverse, behavior-grounded question-answer pairs for all driving situations in CARLA,including severe off-route and off-road deviations previously unassessable in simulation. (2) A unified protocol and interface that allows modern VLMs to be directly plugged into the Bench2Drive closed-loop environment to compare with traditional agents. (3) A flexible reasoning and control framework, supporting multi-format visual inputs and configurable graph-based chain-of-thought execution. (4) A complete development ecosystem. Together, these components form a comprehensive closed-loop benchmark for VLM4AD. All codes and annotated datasets are open sourced.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI