日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転データセットarXiv:2511.10701

CARScenes: 安全な自動運転のための意味的VLMデータセット

CARScenes: Semantic VLM Dataset for Safe Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

自動運転向けに、環境や道路形状、車両挙動などを28カテゴリ・350以上の属性で注釈付けした5,192枚の画像データセットを構築し、VLMの学習・評価基盤を提供した。

詳しい要約

1. どんなもの?

- 自動運転向けの frame-level データセット CAR-Scenes を提案 - Argoverse 1, Cityscapes, KITTI, nuScenes から抽出した 5,192 枚の画像に注釈 - 環境・道路形状・背景車両挙動・ego-vehicle 挙動・vulnerable road users・sensor states・severity scale (1-10) をカバーする 28-key のカテゴリ/サブカテゴリ知識ベース - 350+ の leaf attributes を持つ - VLM の学習・評価により解釈可能な scene-level 理解を目指す - attribute co-occurrence graphs と JSONL records を提供し、semantic retrieval・dataset triage・risk-aware scenario mining を支援 - annotation と analysis scripts を公開

2. 先行研究と比べてどこがすごい?

- 既存の自動運転データセットは主に detection/segmentation 等の知覚タスク向けで、VLM 向けの解釈可能な scene-level 属性注釈が限られる(要旨からは具体的な比較対象は不明) - 本データセットは 28-key 知識ベースと 350+ leaf attributes という体系的な属性体系を提供 - severity scale (1-10) を含み risk-aware な評価が可能 - GPT-4o-assisted pipeline と human-in-the-loop verification を組み合わせ、prompts・post-processing rules・per-field baseline performance を公開 - 複数データセット(Argoverse 1, Cityscapes, KITTI, nuScenes)横断で統一注釈を付与

3. 技術・手法の肝は?

- 28-key のカテゴリ/サブカテゴリ知識ベース(environment, road geometry, background-vehicle behavior, ego-vehicle behavior, vulnerable road users, sensor states, severity scale)を設計 - GPT-4o-assisted vision-language pipeline で注釈を生成し、human-in-the-loop verification で検証 - 正確な prompts・post-processing rules を公開 - attribute co-occurrence graphs を構築し、JSONL records で semantic retrieval・dataset triage・risk-aware scenario mining を可能に - baseline として LoRA-tuned Qwen2-VL-2B を deterministic decoding で評価

4. どうやって有効だと検証した?

- 固定 validation split 上で LoRA-tuned Qwen2-VL-2B を non-benchmark baseline として評価 - 評価指標は scalar accuracy、list attributes に対する micro-averaged F1、severity の MAE/RMSE - per-field baseline model performance を公開 - annotation・graph construction・evaluation scripts を再現可能な形で公開

5. 議論はある?

- 要旨からは不明(限界や議論の詳細は明記されていない) - 考えられる論点として、GPT-4o-assisted pipeline の誤りや human-in-the-loop のコスト、severity scale の主観性、複数データセット横断による domain gap などが挙げられるが、要旨には明記なし

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法として LoRA, Qwen2-VL-2B, GPT-4o が挙げられる - データセット元として Argoverse 1, Cityscapes, KITTI, nuScenes が参照されている - 同分野の定番として vision-language models for autonomous driving、scene understanding、risk-aware scenario mining 関連の研究を次に読むべき

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuankai He, Weisong Shi

分類: cs.CV, cs.RO

原文アブストラクト

CAR-Scenes is a frame-level dataset for autonomous driving that enables training and evaluation of vision-language models (VLMs) for interpretable, scene-level understanding. We annotate 5,192 images drawn from Argoverse 1, Cityscapes, KITTI, and nuScenes using a 28-key category/sub-category knowledge base covering environment, road geometry, background-vehicle behavior, ego-vehicle behavior, vulnerable road users, sensor states, and a discrete severity scale (1-10), totaling 350+ leaf attributes. Labels are produced by a GPT-4o-assisted vision-language pipeline with human-in-the-loop verification; we release the exact prompts, post-processing rules, and per-field baseline model performance. CAR-Scenes also provides attribute co-occurrence graphs and JSONL records that support semantic retrieval, dataset triage, and risk-aware scenario mining across sources. To calibrate task difficulty, we include reproducible, non-benchmark baselines, notably a LoRA-tuned Qwen2-VL-2B with deterministic decoding, evaluated via scalar accuracy, micro-averaged F1 for list attributes, and severity MAE/RMSE on a fixed validation split. We publicly release the annotation and analysis scripts, including graph construction and evaluation scripts, to enable explainable, data-centric workflows for future intelligent vehicles. Dataset: https://github.com/Croquembouche/CAR-Scenes

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI