日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

sim2realarXiv:2507.00236

Sim2Real拡散:基盤視覚言語モデルを活用した適応的自動運転

Sim2Real Diffusion: Leveraging Foundation Vision Language Models for Adaptive Automated Driving

シェア:XThreadsFacebookLINEはてブBluesky

条件付き潜在拡散と基盤モデルを組み合わせ、シミュレーションから実世界への自動運転の適応を実現するフレームワークを提案。

詳しい要約

1. どんなもの?

- 自動運転のためのsim2real転送を目的とした、条件付き潜在拡散モデルによる統一フレームワーク。 - 基盤モデルを活用し、ドメイン適応を実現する。 - テキストや画像プロンプトを用いて、ソースとターゲットドメイン間のマッピングを生成する。 - 時刻、天候、季節、運用設計領域などのパラメータ空間を拡散可能。 - 自動運転の行動クローニングのケーススタディで有効性を実証。

2. 先行研究と比べてどこがすごい?

- 既存のsim2real転送手法は、(i)条件付きドメイン適応、(ii)限られた例でのロバスト性能、(iii)複数ドメイン表現のモジュール性、(iv)リアルタイム性能のバランスに苦慮。 - 提案フレームワークはこれらの課題を緩和する統一的なアプローチを提供。 - 基盤モデルの選択肢、少数ショット微調整パイプライン、テキスト/画像プロンプトを活用可能。 - 多様な高品質サンプルを生成できる点が強み。

3. 技術・手法の肝は?

- 条件付き潜在拡散モデルを中核とし、クロスドメイン適応表現を学習。 - 基盤モデル(代替可能)を活用し、少数ショット微調整を実施。 - テキストおよび画像プロンプトを入力として、ソースからターゲットドメインへのマッピングを生成。 - 時刻、天候、季節、ODDなどのパラメータ空間で拡散可能。 - モジュール性を考慮した設計で、複数ドメイン表現を扱う。

4. どうやって有効だと検証した?

- 性能ベンチマークとアブレーション研究を系統的に実施。 - 自動運転の行動クローニングのケーススタディで実用性を実証。 - 知覚的なsim2realギャップを40%以上橋渡しできることを示した。 - 具体的なデータセットや評価指標は要旨からは不明。

5. 議論はある?

- 提案フレームワークの系統的な分析と知見を報告。 - 性能ベンチマークとアブレーション研究の結果を議論。 - 自動運転への適用可能性を示す。 - 限界や課題についての具体的な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、条件付き拡散モデル、基盤モデル(Vision Language Model)、少数ショット学習、ドメイン適応、行動クローニングなどが挙げられる。 - 同分野の定番として、sim2real転送、自動運転のシミュレーション、拡散モデルを用いた生成モデルに関する論文を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chinmay Vilas Samak, Tanmay Vilas Samak, Bing Li, Venkat Krovi

分類: cs.RO

原文アブストラクト

Simulation-based design, optimization, and validation of autonomous vehicles have proven to be crucial for their improvement over the years. Nevertheless, the ultimate measure of effectiveness is their successful transition from simulation to reality (sim2real). However, existing sim2real transfer methods struggle to address the autonomy-oriented requirements of balancing: (i) conditioned domain adaptation, (ii) robust performance with limited examples, (iii) modularity in handling multiple domain representations, and (iv) real-time performance. To alleviate these pain points, we present a unified framework for learning cross-domain adaptive representations through conditional latent diffusion for sim2real transferable automated driving. Our framework offers options to leverage: (i) alternate foundation models, (ii) a few-shot fine-tuning pipeline, and (iii) textual as well as image prompts for mapping across given source and target domains. It is also capable of generating diverse high-quality samples when diffusing across parameter spaces such as times of day, weather conditions, seasons, and operational design domains. We systematically analyze the presented framework and report our findings in terms of performance benchmarks and ablation studies. Additionally, we demonstrate its serviceability for autonomous driving using behavioral cloning case studies. Our experiments indicate that the proposed framework is capable of bridging the perceptual sim2real gap by over 40%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI