日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
自動運転/sim2realarXiv:2604.03497

Sim2Real-AD: VLM誘導強化学習を実車の自動運転に展開するためのモジュール型Sim-to-Realフレームワーク

Sim2Real-AD: A Modular Sim-to-Real Framework for Deploying VLM-Guided Reinforcement Learning in Real-World Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

シミュレーションで訓練したVLM誘導強化学習ポリシーを、実車にゼロショットで展開するためのフレームワークを提案し、CARLA訓練ポリシーを電気バンに搭載して実証した。

詳しい要約

1. どんなもの？

- VLM-guided RL を実車へ展開するためのモジュラーな Sim-to-Real フレームワーク - 構成要素は Geometric Observation Bridge、Physics-Aware Action Mapping、Two-Phase Progressive Training、Real-time Deployment Pipeline - CARLA で学習した VLM-guided RL policy を実世界の full-scale battery-electric Ford E-Transit van に zero-shot 転移 - Madison, WI, USA で car-following、obstacle-avoidance、stop-sign シナリオを実走行 - 実世界の学習データを一切使わない proof of concept

2. 先行研究と比べてどこがすごい？

- VLM-guided RL は brittle な hand-crafted rewards を意味的に grounded な信号に置き換える点で注目されている - しかし simulation-trained policy の実車展開は、simulator-native な観測と simulator-coupled な action semantics に依存するため困難だった - 本研究は sim-to-real gap を sensing-and-dynamics domain gap と task-and-geometry gap の直交する2軸に分解 - 前者を実世界 policy 学習なしで閉じられることを示す transfer guarantee を定式化 - CARLA 学習の VLM-guided RL policy を full-scale 実車へ zero-shot closed-loop 展開した初期事例の一つ

3. 技術・手法の肝は？

- sim-to-real gap を sensing-and-dynamics domain gap と task-and-geometry gap に分解する一般原理 - 実知覚と制御を policy の training manifold へ再投影することで前者を閉じる - これを transfer guarantee として定式化し、展開ギャップを独立に制御可能な3つの誤差項で抑える - Geometric Observation Bridge により観測の幾何的整合を取る - Physics-Aware Action Mapping により action semantics を物理系へ対応付ける - Two-Phase Progressive Training curriculum と Real-time Deployment Pipeline を組み合わせる

4. どうやって有効だと検証した？

- CARLA で学習した VLM-guided RL policy を full-scale battery-electric Ford E-Transit van へ zero-shot 転移 - Madison, WI, USA にて実車走行を実施 - car-following、obstacle-avoidance、stop-sign の各シナリオで走行 - 実世界の学習データを一切使用せずに検証 - demo video、code、model checkpoint を公開

5. 議論はある？

- sim-to-real gap の2軸分解が、simulation-trained かつ foundation-model-guided な policy を物理世界へ移すための原理的かつ広く適用可能な道筋を提示 - 電動輸送プラットフォーム上での energy-efficient intelligent driving を支援 - 著者らの知る限り、CARLA 学習の VLM-guided RL policy を full-scale 実車へ zero-shot closed-loop 展開した初期事例の一つ - 限界や失敗事例、安全性・一般化に関する詳細な議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として VLM-guided reinforcement learning、CARLA、sim-to-real transfer、domain randomization、Geometric Observation Bridge、Physics-Aware Action Mapping を挙げる - 同分野の定番として autonomous driving の end-to-end learning や vision-language-action model に関する研究を次に読むべき

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zilin Huang, Zhengyang Wan, Zihao Sheng, Boyue Wang, Junwei You, Sikai Chen

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Vision-language-model (VLM)-guided reinforcement learning (RL) has recently attracted significant attention for it, replacing brittle hand-crafted rewards with semantically grounded signals; however, deploying such simulation-trained policies on real vehicles remains a fundamental challenge, because they rely on simulator-native observations and simulator-coupled action semantics with no counterpart on physical hardware. We identify a general principle: the simulation-to-reality gap decomposes into two largely orthogonal axes, a sensing-and-dynamics domain gap and a task-and-geometry gap, the former closable without real-world policy training by re-projecting real perception and control onto the policy's training manifold. We formalize this as a transfer guarantee that bounds the deployment gap by three independently controllable error terms, and instantiate it as Sim2Real-AD, which combines a Geometric Observation Bridge, a Physics-Aware Action Mapping, a Two-Phase Progressive Training curriculum, and a Real-time Deployment Pipeline. As a proof of concept, a CARLA-trained VLM-guided RL policy is transferred zero-shot to a full-scale battery-electric Ford E-Transit van in Madison, WI, USA, and drives across car-following, obstacle-avoidance, and stop-sign scenarios using no real-world training data. To our knowledge, this is among the first zero-shot closed-loop deployments of a CARLA-trained VLM-guided RL policy on a full-scale real vehicle, and the decomposition offers a principled, broadly applicable route for moving simulation-trained, foundation-model-guided policies into the physical world, supporting energy-efficient intelligent driving on electrified transportation platforms. The demo video, code, and model checkpoint are available at: https://zilin-huang.github.io/Sim2Real-AD-website/.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM（ミニPC）

MINISFORUM（ミニPC）の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →