大規模言語モデルを用いた自然言語記述からの自動運転向け交通シーン生成
Traffic Scene Generation from Natural Language Description for Autonomous Vehicles with Large Language Model
自然言語の記述から自動運転評価用の交通シーンを生成するモジュール型フレームワークTTSGを提案し、衝突率の低減と行動推論性能の向上を実現した。
著者: Bo-Kai Ruan, Hao-Tang Tsui, Yung-Hui Li, Hong-Han Shuai
分類: cs.RO
原文アブストラクト
Generating realistic and controllable traffic scenes from natural language can greatly enhance the development and evaluation of autonomous driving systems. However, this task poses unique challenges: (1) grounding free-form text into spatially valid and semantically coherent layouts, (2) composing scenarios without predefined locations, and (3) planning multi-agent behaviors and selecting roads that respect agents' configurations. To address these, we propose a modular framework, TTSG, comprising prompt analysis, road retrieval, agent planning, and a novel plan-aware road ranking algorithm to solve these challenges. While large language models (LLMs) are used as general planners, our design integrates them into a tightly controlled pipeline that enforces structure, feasibility, and scene diversity. Notably, our ranking strategy ensures consistency between agent actions and road geometry, enabling scene generation without predefined routes or spawn points. The framework supports both routine and safety-critical scenarios, as well as multi-stage event composition. Experiments on SafeBench demonstrate that our method achieves the lowest average collision rate (3.5\%) across three critical scenarios. Moreover, driving captioning models trained on our generated scenes improve action reasoning by over 30 CIDEr points. These results underscore our proposed framework for flexible, interpretable, and safety-oriented simulation.
関連論文
- SceneBloom: 実用的で多様なレイアウトを持つ屋内環境をエージェント的に生成する身体性学習向けフレームワークシーン生成
- シーンリターゲティング:類推的転移による物体配置の学習シーン生成
- 配置と可動性を超えて:身体化インタラクションのための使用駆動型コードシーンシーン生成
- HomeWorld: フロアプランから家具付きまでを統合した、制御可能で高密度にインタラクティブな住宅全体シーン生成フレームワークシーン生成
- PhysOmni: 単一画像からの物理基盤マルチオブジェクトシーン生成とリアルタイムインタラクションシーン生成
- HetScene: 不均一性を考慮した拡散モデルによる高密度屋内シーン生成シーン生成
