日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/VLAarXiv:2511.19914

CoC-VLA: 因果連鎖型視覚言語行動モデルによる説明可能な自動運転のための敵対的ドメイン転移

CoC-VLA: Delving into Adversarial Domain Transfer for Explainable Autonomous Driving via Chain-of-Causality Visual-Language-Action Model

シェア:XThreadsFacebookLINEはてブBluesky

シミュレーションで得た長尾ケース対応能力を実世界へ転移するため、因果連鎖推論を行う視覚言語モデルを教師・生徒・識別器で構成した敵対的転移フレームワークを提案した論文。

詳しい要約

1. どんなもの?

- 自動運転向けの新しい end-to-end フレームワーク CoC-VLA を提案 - VLM-guided な adversarial transfer により、simulation の long-tail 対応能力を real-world 展開へ転移 - 構成要素は teacher VLM、student VLM、discriminator の3つ - teacher と student は Chain-of-Causality Visual-Language Model (CoC VLM) を共有ベースとする - CoC VLM は end-to-end text adapter で temporal information を統合し、chain-of-thought reasoning を可能にする

2. 先行研究と比べてどこがすごい?

- 既存手法は real-world data(産業展開向き)か simulation data(rare/hard case 向き)のどちらかに偏る - 両データ源の相補的利点を統合する手法は少ない - 本研究は simulation の long-tail 処理能力を real-world へ転移する点で差別化 - LLM/VLM を自動運転に統合し reasoning・interpretability・性能向上を狙う流れに位置づけ - 要旨からは不明:具体的な先行研究名や定量比較

3. 技術・手法の肝は?

- teacher VLM と student VLM をそれぞれ simulated / real-world datasets で別々に事前学習 - 両者は共有 base architecture の CoC VLM を用いる - CoC VLM は end-to-end text adapter で temporal information を統合 - chain-of-thought reasoning により複雑な driving logic を推論 - discriminator を adversarially に学習させ、student による long-tail 能力転移を促す - 新規 backpropagation strategy が転移の鍵

4. どうやって有効だと検証した?

- 要旨からは不明:具体的なデータセット名、評価指標、実験設定、比較対象は記載されていない - 記述上は simulation から real-world への long-tail 対応能力の転移を目的としている

5. 議論はある?

- 要旨からは不明:限界、失敗事例、計算コスト、安全性評価に関する議論は記載されていない - 明示されているのは real-world と simulation の統合不足という課題意識のみ

6. 次に読むべき論文は?

- 要旨からは不明:参照・比較されている個別研究は明記されていない - 関連手法として LLM/VLM を自動運転に統合する recent methods、chain-of-thought reasoning、adversarial domain transfer、teacher-student distillation 系の研究を挙げるのが妥当

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dapeng Zhang, Fei Shen, Rui Zhao, Yinda Chen, Peng Zhi, Chenyang Li, Rui Zhou, Qingguo Zhou

分類: cs.RO

原文アブストラクト

Autonomous driving represents a prominent application of artificial intelligence. Recent approaches have shifted from focusing solely on common scenarios to addressing complex, long-tail situations such as subtle human behaviors, traffic accidents, and non-compliant driving patterns. Given the demonstrated capabilities of large language models (LLMs) in understanding visual and natural language inputs and following instructions, recent methods have integrated LLMs into autonomous driving systems to enhance reasoning, interpretability, and performance across diverse scenarios. However, existing methods typically rely either on real-world data, which is suitable for industrial deployment, or on simulation data tailored to rare or hard case scenarios. Few approaches effectively integrate the complementary advantages of both data sources. To address this limitation, we propose a novel VLM-guided, end-to-end adversarial transfer framework for autonomous driving that transfers long-tail handling capabilities from simulation to real-world deployment, named CoC-VLA. The framework comprises a teacher VLM model, a student VLM model, and a discriminator. Both the teacher and student VLM models utilize a shared base architecture, termed the Chain-of-Causality Visual-Language Model (CoC VLM), which integrates temporal information via an end-to-end text adapter. This architecture supports chain-of-thought reasoning to infer complex driving logic. The teacher and student VLM models are pre-trained separately on simulated and real-world datasets. The discriminator is trained adversarially to facilitate the transfer of long-tail handling capabilities from simulated to real-world environments by the student VLM model, using a novel backpropagation strategy.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI