DriveAgent: LLMとマルチモーダルセンサ融合による自動運転のためのマルチエージェント構造化推論
DriveAgent: Multi-Agent Structured Reasoning with LLM and Multimodal Sensor Fusion for Autonomous Driving
カメラ・LiDAR・GPS・IMUをLLM推論で統合し、知覚・分析・意思決定を担う複数のエージェントで自動運転の状況理解と判断を行うフレームワークを提案した論文。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Xinmeng Hou, Wuqi Wang, Long Yang, Hao Lin, Jinglun Feng, Haigen Min, Xiangmo Zhao
分類: cs.RO, cs.DB
原文アブストラクト
We introduce DriveAgent, a novel multi-agent autonomous driving framework that leverages large language model (LLM) reasoning combined with multimodal sensor fusion to enhance situational understanding and decision-making. DriveAgent uniquely integrates diverse sensor modalities-including camera, LiDAR, GPS, and IMU-with LLM-driven analytical processes structured across specialized agents. The framework operates through a modular agent-based pipeline comprising four principal modules: (i) a descriptive analysis agent identifying critical sensor data events based on filtered timestamps, (ii) dedicated vehicle-level analysis conducted by LiDAR and vision agents that collaboratively assess vehicle conditions and movements, (iii) environmental reasoning and causal analysis agents explaining contextual changes and their underlying mechanisms, and (iv) an urgency-aware decision-generation agent prioritizing insights and proposing timely maneuvers. This modular design empowers the LLM to effectively coordinate specialized perception and reasoning agents, delivering cohesive, interpretable insights into complex autonomous driving scenarios. Extensive experiments on challenging autonomous driving datasets demonstrate that DriveAgent is achieving superior performance on multiple metrics against baseline methods. These results validate the efficacy of the proposed LLM-driven multi-agent sensor fusion framework, underscoring its potential to substantially enhance the robustness and reliability of autonomous driving systems.
関連論文
- 不確実性駆動型セルフプレイによる堅牢なマルチエージェント運転ポリシー自動運転/マルチエージェント
- マルチエージェント具現化自動運転:V2X情報交換から共有世界モデルへ自動運転/マルチエージェント
- DMV-AVP: Autowareを用いた分散型マルチ車両自動バレーパーキング自動運転/マルチエージェント
- 自動運転マルチエージェント向けシナリオベースのカリキュラム自動生成自動運転/マルチエージェント
- 分散型車両調整:Berkeley DeepDriveドローンデータセットと合意形成ベースのモデル自動運転/マルチエージェント
- FormulaZero:オフライン集団合成による分布ロバストなオンライン適応自動運転/マルチエージェント
