日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
自動運転/VLMarXiv:2606.20980

Robusto-2: リマとニューヨーク市における自動運転のための人間とVLMのベンチマーキング

Robusto-2: Benchmarking Humans & VLMs for Autonomous Driving in Lima & New York City

シェア:XThreadsFacebookLINEはてブBluesky

自動運転の認知基盤として使われるVLMが、新しい地理的環境での分布外エッジケースにどの程度一般化できるかを、リマとニューヨーク市のドライバー映像を用いて人間とVLMの回答を比較分析した論文。

詳しい要約

1. どんなもの？

本論文は、自動運転車の認知基盤としてVLM（Vision-Language Model）を用いる際の、新しい地理的環境への汎化性能を調べる研究である。LimaとNew York Cityのドライバー（人間）とVLMに、両都市で収集したドライブレコーダー映像を見せ、Visual Question Answering（VQA）パラダイムで多様な質問を行う。質問はFactual、Ratings、Counterfactual、Reasoningの4カテゴリに及ぶ。データセットはHugging Faceで公開されている。

2. 先行研究と比べてどこがすごい？

先行研究と比べて、LimaとNYCという自動運転企業が現在運行していない挑戦的な都市を対象に、人間ドライバー（Lima出身とNYC出身）とVLMを完全要因分析で比較した点が新しい。特に、地理的条件や質問タイプが回答に与える影響を体系的に検証している。

3. 技術・手法の肝は？

技術や手法の肝は、LimaとNYCで収集したドライブレコーダー映像を用い、VQA形式でFactual、Ratings、Counterfactual、Reasoningの4カテゴリの質問を人間とVLMに提示する完全要因分析デザインである。人間はLima出身者とNYC出身者を比較し、VLMとの応答の違いを分析する。

4. どうやって有効だと検証した？

有効性の検証は、LimaとNYCの人間ドライバーおよびVLMの回答を比較する完全要因分析によって行われた。質問カテゴリごとに応答の差異を分析し、地理的条件による影響も調べた。

5. 議論はある？

議論として、人間とVLMの応答は質問タイプによって異なるが、人間は出身地（Lima/NYC）に関わらず同様に回答することが見出された。また、地理的条件による回答の強い違いは見られず、これは高いout-of-distribution（OOD）性による可能性が示唆されている。

6. 次に読むべき論文は？

要旨で参照/比較されている研究は明示されていないが、関連手法としてVLM、VQA、自動運転のOOD汎化に関する研究が挙げられる。具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Adrian Cespedes, Marcelo Chincha, Dunant Cusipuma, Victor Flores-Benites, David Ortega, Arturo Deza

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

As Self-Driving Cars continue to expand internationally and use multi-modal systems such as VLMs as a cognitive backbone for their Action models; how well will these systems generalize in new settings, in particular out-of-distribution (OOD) edge-case scenarios in new geographies? In this paper, we study this open question by providing a full factorial analysis with human drivers of Lima, human drivers from New York City, and VLMs and showing them dashcam footage collected from Lima and New York City -- prompting them with a variety of questions under a Visual Question Answering (VQA) paradigm. In particular, we pick these two cities as they are highly challenging driving locations where no Self-Driving Car company currently operates in, and ask questions that span 4 categories: Factual, Ratings, Counterfactual and Reasoning. We find that Humans and VLMs diverge in their responses -- though this is modulated by the type of questions asked, and that Humans answer similarly independent of where they are from (Lima/NYC). To our surprise, we did not find a strong difference in terms of answers (Humans or VLMs) that was modulated by geography, likely due to their high out-of-distribution nature. Our dataset is available at: https://huggingface.co/datasets/Artificio/robusto-2

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →