日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/オフライン強化学習arXiv:2508.07029

模倣から最適化へ:自動運転のためのオフライン学習の比較研究

From Imitation to Optimization: A Comparative Study of Offline Learning for Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

自動運転のためのオフライン学習手法を比較し、模倣学習(BC)よりもオフライン強化学習(CQL)が長期的な運転ポリシーにおいて大幅に堅牢であることを示した研究。

詳しい要約

1. どんなもの?

大規模実世界データから堅牢な自動運転ポリシーを学習するためのパイプラインと比較研究。 - まず段階的に高度化した Behavioral Cloning (BC) ベースラインを構築し、最終的に Transformer ベースで entity-centric な状態表現を用いるモデルに到達。 - 同じデータ・アーキテクチャに対し Offline Reinforcement Learning の Conservative Q-Learning (CQL) を適用し、BC と比較。 - Waymo Open Motion Dataset の未見 1,000 シナリオで大規模評価を実施。

2. 先行研究と比べてどこがすごい?

BC は模倣学習として単純だが closed-loop 実行で脆く、compounding errors に悩まされることが知られる。 - 本研究は BC の模倣損失が低くても長期間シミュレーションで失敗することを示す。 - 同一データ・同一アーキテクチャで CQL を用いることで、BC 最強ベースライン比で成功率 3.2 倍、衝突率 7.4 分の 1 を達成。 - offline RL が静的専門家データからの堅牢な長期間運転ポリシー学習に重要であることを示した点が新規。

3. 技術・手法の肝は?

段階的に高度化した BC ベースラインを構築し、最終的に Transformer ベースで entity-centric な構造化状態表現を用いるモデルを採用。 - 同じデータとアーキテクチャに Conservative Q-Learning (CQL) を適用。 - 慎重に設計した reward function を用い、保守的な value function を学習させることで、軽微な誤りからの回復と out-of-distribution 状態の回避を可能にする。

4. どうやって有効だと検証した?

Waymo Open Motion Dataset の未見 1,000 シナリオで大規模評価を実施。 - 最終 CQL エージェントは最強 BC ベースライン比で成功率 3.2 倍、衝突率 7.4 分の 1 を達成。 - BC モデルは模倣損失が低いにもかかわらず長期間シミュレーションで失敗することを示した。

5. 議論はある?

要旨からは不明。 - ただし、BC の脆さと compounding errors、offline RL の保守的 value function による回復・OOD 回避の利点が主張されている。 - reward function の設計や評価シナリオの範囲に関する議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究として Behavioral Cloning (BC) と Conservative Q-Learning (CQL) が挙げられる。 - 関連手法として Offline Reinforcement Learning 全般、Transformer ベースの模倣学習、Waymo Open Motion Dataset を用いた自動運転研究が次に読むべき候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Antonio Guillen-Perez

分類: cs.LG, cs.AI, cs.RO, cs.SY, eess.SY

原文アブストラクト

Learning robust driving policies from large-scale, real-world datasets is a central challenge in autonomous driving, as online data collection is often unsafe and impractical. While Behavioral Cloning (BC) offers a straightforward approach to imitation learning, policies trained with BC are notoriously brittle and suffer from compounding errors in closed-loop execution. This work presents a comprehensive pipeline and a comparative study to address this limitation. We first develop a series of increasingly sophisticated BC baselines, culminating in a Transformer-based model that operates on a structured, entity-centric state representation. While this model achieves low imitation loss, we show that it still fails in long-horizon simulations. We then demonstrate that by applying a state-of-the-art Offline Reinforcement Learning algorithm, Conservative Q-Learning (CQL), to the same data and architecture, we can learn a significantly more robust policy. Using a carefully engineered reward function, the CQL agent learns a conservative value function that enables it to recover from minor errors and avoid out-of-distribution states. In a large-scale evaluation on 1,000 unseen scenarios from the Waymo Open Motion Dataset, our final CQL agent achieves a 3.2x higher success rate and a 7.4x lower collision rate than the strongest BC baseline, proving that an offline RL approach is critical for learning robust, long-horizon driving policies from static expert data.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI