日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転シミュレーションarXiv:2507.01264

LLMによる現実的な安全クリティカル運転動画生成

LLM-based Realistic Safety-Critical Driving Video Generation

シェア:XThreadsFacebookLINEはてブBluesky

LLMでCARLAの安全クリティカルな運転シナリオを少数例から自動生成し、動画生成でリアルな映像に変換する枠組みを提案。

詳しい要約

1. どんなもの?

- 自動運転システム評価のための、多様で安全クリティカルな運転シナリオを生成するフレームワーク - LLM の few-shot code generation を用いて CARLA simulator 内のシナリオを自動合成 - 生成したシナリオの描画を Cosmos-Transfer1 と ControlNet による video generation pipeline でリアルな運転動画に変換 - 目的は衝突などの稀だが重要な edge case を制御可能に生成し、simulation-based testing を支援すること

2. 先行研究と比べてどこがすごい?

- 先行研究との具体的な比較は要旨からは不明 - 特徴として、LLM による few-shot code generation で CARLA simulator の scenario script を自動生成する点を挙げている - CARLA の柔軟な scenario scripting、コードベースの交通参加者制御、物理ダイナミクスの現実性を活用 - さらに Cosmos-Transfer1 と ControlNet を組み合わせ、simulation と実世界の見た目のギャップを埋める点を主張

3. 技術・手法の肝は?

- LLM に少数の example prompt と code sample を与え、安全クリティカルな scenario script を生成 - script は交通参加者の behavior と placement を指定し、特に collision event に注目 - 生成シナリオを CARLA simulator 上で実行 - 描画された scene を Cosmos-Transfer1 + ControlNet の video generation pipeline で realistic driving video に変換 - これにより occluded pedestrian crossing や sudden vehicle cut-in などの制御可能な edge case 生成を狙う

4. どうやって有効だと検証した?

- 実験結果により、多様でリアルかつ安全クリティカルなシナリオを広範囲に生成できることを示したと記載 - 具体的な評価指標、データセット、比較手法、被験者実験などの詳細は要旨からは不明

5. 議論はある?

- 提案手法が simulation-based testing の有望なツールになると主張 - 制御可能な scenario 生成と稀な critical edge case の創出を利点として挙げる - 限界、失敗事例、計算コスト、realism の定量評価、LLM 生成コードの信頼性などに関する議論は要旨からは不明

6. 次に読むべき論文は?

- CARLA simulator を用いた scenario-based testing の関連研究 - LLM による code generation をロボティクス/自動運転に応用した研究 - Cosmos-Transfer1 および ControlNet を用いた video generation / sim-to-real 変換の研究 - 安全クリティカルな edge case 生成や rare scenario 生成に関する研究(具体的な参照論文は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yongjie Fu, Ruijian Zha, Pei Tian, Xuan Di

分類: cs.RO, cs.AI

原文アブストラクト

Designing diverse and safety-critical driving scenarios is essential for evaluating autonomous driving systems. In this paper, we propose a novel framework that leverages Large Language Models (LLMs) for few-shot code generation to automatically synthesize driving scenarios within the CARLA simulator, which has flexibility in scenario scripting, efficient code-based control of traffic participants, and enforcement of realistic physical dynamics. Given a few example prompts and code samples, the LLM generates safety-critical scenario scripts that specify the behavior and placement of traffic participants, with a particular focus on collision events. To bridge the gap between simulation and real-world appearance, we integrate a video generation pipeline using Cosmos-Transfer1 with ControlNet, which converts rendered scenes into realistic driving videos. Our approach enables controllable scenario generation and facilitates the creation of rare but critical edge cases, such as pedestrian crossings under occlusion or sudden vehicle cut-ins. Experimental results demonstrate the effectiveness of our method in generating a wide range of realistic, diverse, and safety-critical scenarios, offering a promising tool for simulation-based testing of autonomous vehicles.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI