デジタルツインと大規模言語モデルの融合:自動運転のためのリアルでインタラクティブかつ編集可能なシミュレーション
When Digital Twins Meet Large Language Models: Realistic, Interactive, and Editable Simulation for Autonomous Driving
物理ベースとデータ駆動を組み合わせて自動運転の高忠実度デジタルツインを構築し、LLMによる自然言語でのシナリオ編集とリアルタイム動的シミュレーションを実現したフレームワークを提案。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Tanmay Vilas Samak, Chinmay Vilas Samak, Bing Li, Venkat Krovi
分類: cs.RO
原文アブストラクト
Simulation frameworks have been key enablers for the development and validation of autonomous driving systems. However, existing methods struggle to comprehensively address the autonomy-oriented requirements of balancing: (i) dynamical fidelity, (ii) photorealistic rendering, (iii) context-relevant scenario orchestration, and (iv) real-time performance. To address these limitations, we present a unified framework for creating and curating high-fidelity digital twins to accelerate advancements in autonomous driving research. Our framework leverages a mix of physics-based and data-driven techniques for developing and simulating digital twins of autonomous vehicles and their operating environments. It is capable of reconstructing real-world scenes and assets with geometric and photorealistic accuracy (~97% structural similarity) and infusing them with physical properties to enable real-time (>60 Hz) dynamical simulation of the ensuing driving scenarios. Additionally, it incorporates a large language model (LLM) interface to flexibly edit the driving scenarios online via natural language prompts, with ~85% generalizability and ~95% repeatability. Finally, an optional vision language model (VLM) provides ~80% visual enhancement by blending the hybrid scene composition.
関連論文
- 自動運転ポリシー評価のための閉ループシナリオオーケストレーション自動運転シミュレーション
- DreamStream: エンドツーエンド運転ポリシー向け生成的シミュレーション自動運転シミュレーション
- 信頼できるシミュレーションによる自動運転システムの仮想試験自動運転シミュレーション
- 平面を超えて:平面車両ダイナミクスと三次元道路形状の結合自動運転シミュレーション
- RoadWeaver: 自動運転シミュレーションのための大規模レーン級HDマップのゼロからの生成自動運転シミュレーション
- M^4World: インタラクティブな物体操作と長時間ストリーミングのためのマルチビュー・マルチモーダル運転ワールドモデル自動運転シミュレーション
