日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2505.20024

ReasonPlan:閉ループ自動運転のための統合シーン予測と意思決定推論

ReasonPlan: Unified Scene Prediction and Decision Reasoning for Closed-loop Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダル大規模言語モデルを微調整し、次シーン予測と意思決定連鎖推論を組み合わせて閉ループ自動運転の性能と解釈性を向上させた研究。

詳しい要約

1. どんなもの?

- 閉ループ自動運転のための MLLM ファインチューニングフレームワーク ReasonPlan を提案 - 自己教師あり Next Scene Prediction と教師あり Decision Chain-of-Thought を統合した holistic reasoning で運転判断を行う - 計画志向の decision reasoning データセット PDR(210k サンプル)を構築 - Bench2Drive と DOS benchmark で評価

2. 先行研究と比べてどこがすごい?

- MLLM は E2E 自動運転で注目されるが閉ループ適用は未開拓で、既存 MLLM 手法は主流の E2E imitation learning に対し明確な優位性を示せていなかった - ReasonPlan は Bench2Drive で主流 E2E imitation learning に対し L2 で 19%、driving score で 16.1 の大幅改善 - 未見の DOS benchmark で強い zero-shot 汎化を示し corner case への適応性を実証

3. 技術・手法の肝は?

- MLLM のファインチューニングにより閉ループ運転を実現 - 自己教師あり Next Scene Prediction と教師あり Decision Chain-of-Thought の二重メカニズム - 視覚表現を行動可能な運転文脈に整合させ、解釈可能かつ因果に基づく意思決定を促す - 計画志向の decision reasoning データセット PDR(210k)を整備

4. どうやって有効だと検証した?

- Bench2Drive benchmark で主流 E2E imitation learning と比較し L2 19%、driving score 16.1 の改善を確認 - 未見の DOS benchmark で zero-shot 汎化を評価し corner case への適応性を確認 - 詳細な実験設定は要旨からは不明

5. 議論はある?

- 要旨からは不明(限界や失敗事例、計算コスト等の議論は記載なし) - 解釈可能性と因果に基づく意思決定の促進を主張しているが定量的な議論は要旨からは不明

6. 次に読むべき論文は?

- 比較対象の主流 E2E imitation learning 手法(関連研究として参照) - Bench2Drive benchmark および DOS benchmark の関連論文 - MLLM を用いた E2E 自動運転の既存研究(関連手法として一般名で挙げる)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xueyi Liu, Zuodong Zhong, Yuxin Guo, Yun-Fu Liu, Zhiguo Su, Qichao Zhang, Junli Wang, Yinfeng Gao, Yupeng Zheng, Qiao Lin, Huiyong Chen, Dongbin Zhao

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Due to the powerful vision-language reasoning and generalization abilities, multimodal large language models (MLLMs) have garnered significant attention in the field of end-to-end (E2E) autonomous driving. However, their application to closed-loop systems remains underexplored, and current MLLM-based methods have not shown clear superiority to mainstream E2E imitation learning approaches. In this work, we propose ReasonPlan, a novel MLLM fine-tuning framework designed for closed-loop driving through holistic reasoning with a self-supervised Next Scene Prediction task and supervised Decision Chain-of-Thought process. This dual mechanism encourages the model to align visual representations with actionable driving context, while promoting interpretable and causally grounded decision making. We curate a planning-oriented decision reasoning dataset, namely PDR, comprising 210k diverse and high-quality samples. Our method outperforms the mainstream E2E imitation learning method by a large margin of 19% L2 and 16.1 driving score on Bench2Drive benchmark. Furthermore, ReasonPlan demonstrates strong zero-shot generalization on unseen DOS benchmark, highlighting its adaptability in handling zero-shot corner cases. Code and dataset will be found in https://github.com/Liuxueyi/ReasonPlan.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI