日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2510.12560

CoIRL-AD: 潜在世界モデルにおける模倣・強化学習の協調競合フレームワークによる自動運転

CoIRL-AD: Collaborative-Competitive Imitation-Reinforcement Learning in Latent World Models for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

模倣学習と強化学習を別々のポリシーに分離し、潜在世界モデル内での想像ロールアウトと競争機構を組み合わせることで、オフライン環境でも長尾シナリオや都市間汎化に強い自動運転モデルを実現した。

詳しい要約

1. どんなもの?

- 対象: 実世界の end-to-end autonomous driving における offline 設定の学習フレームワーク - 名称: CoIRL-AD (Collaborative-Competitive Imitation-Reinforcement Learning in Latent World Models) - 構成: IL と RL を統合した competitive dual-policy framework - 目的: IL 単独の long-tail シナリオや汎化性能の弱さを補う - 学習形態: interactive simulator を用いない unified offline training regime - 評価: nuScenes benchmark 上で検証

2. 先行研究と比べてどこがすごい?

- 先行 IL ベース手法: end-to-end autonomous driving モデルは long-tail で expert demonstration が乏しく汎化が弱い - 先行 RL 適用の課題: 実世界 offline 設定では interactive simulator がなく、dataset が expert action 中心で behavioral diversity が限られる - 本研究の位置づけ: IL と RL を unified offline training regime で統合 - 工夫: imitation と reward optimization を別 actor に分離し objective conflicts を緩和 - 報告された利点: strong な IL-based baselines に対し robustness を一貫して改善、cross-city generalization と long-tail で特に大きな gains

3. 技術・手法の肝は?

- 全体: IL と RL を組み合わせた competitive dual-policy framework - 分離: imitation と reward optimization を separate actors に decouple し objective conflicts を軽減 - 長期報酬: imagined future rollouts を用いて long-horizon reward estimation を行う - 競争機構: competition mechanism により有益な behavior を選択的に transfer - 安定化: RL を expert-like driving に anchored させて保持 - 基盤: latent world models を前提とした構成(詳細は要旨からは不明)

4. どうやって有効だと検証した?

- データセット/ベンチマーク: nuScenes benchmark 上で実験 - 比較対象: strong な IL-based baselines - 指標: robustness の改善を確認 - 特に有効な条件: cross-city generalization と long-tail scenarios で大きな gains - 再現性: code が https://github.com/SEU-zxj/CoIRL-AD で公開 - 定量的な詳細数値は要旨からは不明

5. 議論はある?

- 主張: offline 設定でも IL と RL の統合が robustness 向上に寄与 - 設計上の議論点: dual-policy の分離と competition mechanism が objective conflicts と behavior transfer のバランスをどう取るか - 制約: interactive simulator なしの offline 設定で behavioral diversity が限られる点 - 未解決/不明: 計算コスト、latent world model の誤差影響、competition mechanism の詳細な挙動は要旨からは不明

6. 次に読むべき論文は?

- 比較対象として挙げられる strong な IL-based baselines(具体的名称は要旨からは不明) - 関連手法: imitation learning (IL)、reinforcement learning (RL)、latent world models - 関連ベンチマーク: nuScenes benchmark - 公開コード: https://github.com/SEU-zxj/CoIRL-AD を参照 - 同分野の定番として end-to-end autonomous driving の IL 研究と offline RL 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaoji Zheng, Ziyuan Yang, Yanhao Chen, Yuhang Peng, Yuanrong Tang, Gengyuan Liu, Bokui Chen, Jiangtao Gong

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

End-to-end autonomous driving models trained with imitation learning (IL) often generalize poorly, particularly in long-tail scenarios where expert demonstrations are sparse. Reinforcement learning (RL) can provide complementary task-level supervision, but applying RL to real-world autonomous driving is challenging in offline settings without interactive simulators, where datasets are dominated by expert actions and provide limited behavioral diversity. We propose CoIRL-AD, a competitive dual-policy framework that integrates IL and RL under a unified offline training regime. CoIRL-AD decouples imitation and reward optimization into separate actors to alleviate objective conflicts, uses imagined future rollouts for long-horizon reward estimation, and introduces a competition mechanism that selectively transfers beneficial behaviors while keeping RL anchored to expert-like driving. Experiments on the nuScenes benchmark show that CoIRL-AD consistently improves robustness over strong IL-based baselines, with especially large gains in cross-city generalization and long-tail scenarios. Code is available at: https://github.com/SEU-zxj/CoIRL-AD.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI