日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.38948

DrivingBench:視覚言語モデルはトヨタ・カローラを運転できるか

DrivingBench: Can Vision-Language Models Drive a Toyota Corolla?

シェア:XThreadsFacebookLINEはてブBluesky

汎用視覚言語モデルに実車(トヨタ・カローラ)を低速度で運転させ、推論遅延を含む長期的タスク遂行能力を評価する初のベンチマークを提案し、複数モデルの性能を比較した。

詳しい要約

1. どんなもの?

- 汎用 vision-language model (VLM) が実車を運転できるかを測る初の benchmark『DrivingBench』を提案。 - 対象車は Toyota Corolla。parking lot の cone course を低速で走行。 - モデルは camera frame を見て steering と velocity を直接指令する。 - 3 つの tool を介して操作し、走行中も推論が続き、新指令が実行中の指令を置き換える。 - よって inference latency もタスクの一部となる。 - 観察・行動・監視・回復・長期的目標の完遂を同時に試す設計。

2. 先行研究と比べてどこがすごい?

- 既存の digital benchmark では frontier model が高成績でも、実車運転という日常技能はほぼ未検証だった。 - 本研究は general-purpose VLM に実車を運転させる初の benchmark と位置づける。 - 単なる認識精度でなく、低速度ながら実車の制御ループを閉じる点が先行研究と異なる。 - inference latency をタスク制約として組み込む点も特徴。 - 具体的な先行研究名や比較数値は要旨からは不明。

3. 技術・手法の肝は?

- 3 つの tool を通じて、モデルは Toyota Corolla の camera frame を取得し、steering と velocity を直接指令する。 - 車はモデルの思考中も動き続け、新しい指令が現在実行中の指令を置き換える。 - このため inference latency が制御性能に影響する。 - action interface の設計原則を詳述。 - tool output format とタスクの framing が、モデルが運転するか拒否するかを左右したと報告。 - harness、prompts、course map、traces、video、telemetry を再現用に公開。

4. どうやって有効だと検証した?

- GPT-6 Astra、Claude Fable 5.1、GPT-5.6 Sol、Grok 4.6 を vendor-native harness (Codex、Claude Code、Cursor) で評価。 - 1 会話あたり最大 3 回の試行。 - Astra のみが 2 回目の試行で course を完走。 - 他の試行は course の 50% を超えなかった。 - 4 モデル中 2 モデルは context を保持して試行間で実質的に改善。 - 再現性のため harness、prompts、course map、traces、video、telemetry を公開。

5. 議論はある?

- inference latency がタスクの一部であり、モデルが考えている間も車が動く制約下での観察・行動・監視・回復・長期目標完遂が議論の焦点。 - action interface の設計原則、tool output format、タスク framing が、運転するか拒否するかを決定づけたと述べる。 - 試行間で context を保持した 2 モデルが改善した点も議論。 - ただしモデル数・試行数が限られ、統計的な一般化や安全性の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的研究は明示されていない。 - 関連手法として、general-purpose vision-language model、vendor-native harness (Codex、Claude Code、Cursor)、inference latency を考慮した closed-loop control の研究が次に読む候補。 - 同分野の定番として vision-language-action model (VLA) や end-to-end autonomous driving の benchmark も参照すべき。 - ただし要旨に個別論文名の記載はないため、具体的な次論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aditya Ramabadran, Simon Mahns, Tobias Gessler

分類: cs.RO, cs.AI

原文アブストラクト

Frontier models excel at many digital benchmarks, yet their ability to drive a real car, an everyday human skill, remains largely untested. We present DrivingBench, to our knowledge the first benchmark where general-purpose vision-language models must drive a real car. Through three tools, the models see camera frames from a Toyota Corolla and directly command its steering and velocity around a parking lot cone course at low speeds. The car may continue moving while the model thinks and new commands replace the currently running one, so inference latency is part of the task, testing the models' abilities to observe, act, monitor, recover, and complete a long-horizon objective under such constraints. We benchmark GPT-6 Astra, Claude Fable 5.1, GPT-5.6 Sol, and Grok 4.6 in vendor-native harnesses (Codex, Claude Code, Cursor) with up to three attempts each in one conversation; Astra is the only model to finish the course, on its second attempt, with no other attempt passing 50% of the course. Two of the four models improved materially across attempts with retained context. We also detail the design principles behind our action interface, and show how the tool output format and the framing of the task combined to determine whether models would drive at all or refuse. We release our harness, prompts, course map, and traces with video and telemetry for reproducibility.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI