LLMによる現実的な安全クリティカル運転動画生成
LLM-based Realistic Safety-Critical Driving Video Generation
LLMでCARLAの安全クリティカルな運転シナリオを少数例から自動生成し、動画生成でリアルな映像に変換する枠組みを提案。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yongjie Fu, Ruijian Zha, Pei Tian, Xuan Di
分類: cs.RO, cs.AI
原文アブストラクト
Designing diverse and safety-critical driving scenarios is essential for evaluating autonomous driving systems. In this paper, we propose a novel framework that leverages Large Language Models (LLMs) for few-shot code generation to automatically synthesize driving scenarios within the CARLA simulator, which has flexibility in scenario scripting, efficient code-based control of traffic participants, and enforcement of realistic physical dynamics. Given a few example prompts and code samples, the LLM generates safety-critical scenario scripts that specify the behavior and placement of traffic participants, with a particular focus on collision events. To bridge the gap between simulation and real-world appearance, we integrate a video generation pipeline using Cosmos-Transfer1 with ControlNet, which converts rendered scenes into realistic driving videos. Our approach enables controllable scenario generation and facilitates the creation of rare but critical edge cases, such as pedestrian crossings under occlusion or sudden vehicle cut-ins. Experimental results demonstrate the effectiveness of our method in generating a wide range of realistic, diverse, and safety-critical scenarios, offering a promising tool for simulation-based testing of autonomous vehicles.
関連論文
- 自動運転ポリシー評価のための閉ループシナリオオーケストレーション自動運転シミュレーション
- DreamStream: エンドツーエンド運転ポリシー向け生成的シミュレーション自動運転シミュレーション
- 信頼できるシミュレーションによる自動運転システムの仮想試験自動運転シミュレーション
- 平面を超えて:平面車両ダイナミクスと三次元道路形状の結合自動運転シミュレーション
- RoadWeaver: 自動運転シミュレーションのための大規模レーン級HDマップのゼロからの生成自動運転シミュレーション
- M^4World: インタラクティブな物体操作と長時間ストリーミングのためのマルチビュー・マルチモーダル運転ワールドモデル自動運転シミュレーション
