日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2601.22930

MTDrive: 自動運転のためのマルチターン対話型強化学習

MTDrive: Multi-turn Interactive Reinforcement Learning for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

MLLMと強化学習を組み合わせ、環境フィードバックに基づいて軌道を反復的に改善するマルチターン枠組みを提案し、NAVSIMで優れた性能を示した。

詳しい要約

1. どんなもの?

- 自動運転のtrajectory planningを対象に、MLLMとRLを統合したマルチターン対話型フレームワークMTDriveを提案。 - 環境フィードバックに基づきMLLMがtrajectoryを反復的に洗練する。 - マルチターン強化学習アルゴリズムmtGRPOを導入し、報酬の希薄性を緩和。 - 閉ループシミュレーションから対話型trajectory理解データセットを構築。 - NAVSIMベンチマークで既存手法を上回る性能を実証。

2. 先行研究と比べてどこがすごい?

- 既存のMLLM+RL手法はsingle-turn reasoningに限定され、反復的な洗練を要する複雑タスクに対応できない。 - MTDriveはmulti-turn frameworkにより、環境フィードバックを逐次活用してtrajectoryを改善可能。 - mtGRPOにより報酬スパース性を軽減し、マルチターン学習を安定化。 - 高解像度画像とマルチターン系列によるデータ転送オーバーヘッドをシステム最適化で削減し、学習スループットを2.5倍に向上。

3. 技術・手法の肝は?

- Multi-Turn Group Relative Policy Optimization (mtGRPO)を提案。 - ターンをまたいだ相対アドバンテージを計算し、報酬スパース性を緩和。 - 閉ループシミュレーションからinteractive trajectory understanding datasetを構築。 - マルチターン訓練を支援。 - システムレベル最適化を実装。 - 高解像度画像とマルチターン系列のデータ転送オーバーヘッドを低減。 - 学習スループットを2.5倍に向上。

4. どうやって有効だと検証した?

- NAVSIMベンチマークで実験を実施。 - 既存手法と比較して優れた性能を示し、マルチターン推論パラダイムの有効性を検証。 - システム最適化により2.5倍の学習スループットを達成したことも報告。

5. 議論はある?

- 要旨からは不明。 - ただし、マルチターン推論の有効性とシステム最適化の効果が示されている。 - データ、モデル、コードは近日公開予定と記載。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、MLLMとRLを統合したsingle-turn reasoningベースのautonomous driving trajectory planning手法が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xidong Li, Mingyu Guo, Chenchao Xu, Bailin Li, Wenjing Zhu, Yangang Zou, Rui Chen, Zehuan Wang

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Trajectory planning is a core task in autonomous driving, requiring the prediction of safe and comfortable paths across diverse scenarios. Integrating Multi-modal Large Language Models (MLLMs) with Reinforcement Learning (RL) has shown promise in addressing "long-tail" scenarios. However, existing methods are constrained to single-turn reasoning, limiting their ability to handle complex tasks requiring iterative refinement. To overcome this limitation, we present MTDrive, a multi-turn framework that enables MLLMs to iteratively refine trajectories based on environmental feedback. MTDrive introduces Multi-Turn Group Relative Policy Optimization (mtGRPO), which mitigates reward sparsity by computing relative advantages across turns. We further construct an interactive trajectory understanding dataset from closed-loop simulation to support multi-turn training. Experiments on the NAVSIM benchmark demonstrate superior performance compared to existing methods, validating the effectiveness of our multi-turn reasoning paradigm. Additionally, we implement system-level optimizations to reduce data transfer overhead caused by high-resolution images and multi-turn sequences, achieving 2.5x training throughput. Our data, models, and code will be made available soon.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI