CARLA-GS: 自動運転コーナーケース合成のための表現・推論・物理シミュレーションの分離

CARLA-GSは、自動運転の安全性評価のためのコーナーケース（まれで安全上重要なシナリオ）を、写実的な観測とともに意図的に合成するモジュール式パイプラインを提案する。視覚表現、シーン推論、物理ベースの実行を分離しつつ、モジュール間の密結合を維持する。実運転データから編集可能なgaussian sceneを再構成し、マルチエージェントLLMがリスクのある相互作用を特定して意図レベルのwaypoint軌道を生成し、CARLAのPIDコントローラが運動学的・動的実現可能性を保証する。シミュレートされた車両状態をgaussian sceneに再投影し、ego中心のレンダリングを行う。

従来の知識ベース・モデルベース手法はシーンまたは軌道の構成要素を個別に扱うことが多く、拡散ベースの手法はエンドツーエンド生成を試みるが、時空間一貫性と物理的現実性の確保に課題があった。CARLA-GSは、視覚表現、意味推論、物理実行を単一フレームワーク内で分離・統合し、高レベルの意味推論と低レベルの物理実行可能な動作を両立する点で優れている。

手法の肝は、①実データからのgaussian scene再構成に幾何学的整合性の制約を追加すること、②マルチエージェントLLMによるシーンレベルの推論でリスク相互作用を特定し意図レベルのwaypoint軌道を生成すること、③低レベルの運動制御をCARLAに委譲しPIDコントローラで運動学的・動的実現可能性を保証すること、④シミュレートされた車両状態をgaussian sceneに再投影してego中心レンダリングを行うこと。これにより、意味的意図と物理的実現可能性を満たす写実的なコーナーケース生成を実現する。

Waymo Open Datasetを用いた実験で、定量的・定性的に、制御可能なコーナーケース生成が可能であり、意味的意図と物理的に実現可能な動作に整合した、写実的で時空間的に一貫したビデオを生成できることを示した。具体的な評価指標は要旨からは不明。

要旨からは、提案手法の限界や議論についての詳細は不明。ただし、モジュール間の結合の強さや、LLMの推論能力への依存、gaussian sceneの再構成精度が生成品質に影響する可能性などが考えられるが、要旨には明記されていない。

要旨で参照されている関連研究として、知識ベース・モデルベースのアプローチ、拡散ベースのエンドツーエンド生成手法、Waymo Open Datasetを用いた研究が挙げられる。具体的な論文名は不明だが、同分野の定番として、自動運転シミュレーションにおけるコーナーケース生成に関する研究や、gaussian splattingを用いたシーン再構成の研究が関連する。