日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/オフラインRLarXiv:2512.18662

疑似専門家正則化オフラインRLによるフォトリアル閉ループ環境でのEnd-to-End自動運転

Pseudo-Expert Regularized Offline RL for End-to-End Autonomous Driving in Photorealistic Closed-Loop Environments

シェア:XThreadsFacebookLINEはてブBluesky

カメラ画像のみから将来軌道を予測するEnd-to-End自動運転モデルを、専門家ログから作った疑似正解軌道で正則化するオフライン強化学習で訓練し、衝突率と経路完走率を改善した研究。

詳しい要約

1. どんなもの?

- カメラ画像のみを入力とし将来のtrajectoryを直接予測するE2E自律運転モデルを対象とする。 - ILの失敗モードを緩和するため、online RLではなく、固定simulator datasetのみで学習するcamera-only E2E offline RL frameworkを提案。 - 追加のexplorationを行わず、neural rendering環境でclosed-loop評価を実施。

2. 先行研究と比べてどこがすごい?

- ILベースラインと比較してcollision rateとroute completionを大幅改善。 - online RLはneural rendering-based simulationと大規模E2Eネットワークの計算負荷が大きく、報酬・ハイパーパラメータ調整が高コスト。 - offline RLはデータ効率と実験反復の速さを持つが、OOD actionの過大評価による不安定性が課題。 - 提案法はpseudo ground-truth trajectoryをbehavior regularizationに用いてこの不安定性を抑制。

3. 技術・手法の肝は?

- camera-only E2E offline RL frameworkを構築。 - expert driving logsからpseudo ground-truth trajectoryを生成。 - これをbehavior regularization signalとして使用し、unsafe/suboptimal behaviorの模倣を抑制しつつvalue learningを安定化。 - 学習とclosed-loop評価はnuScenes datasetから学習したneural rendering環境で実施。

4. どうやって有効だと検証した?

- neural rendering environmentでtrainingとclosed-loop evaluationを実施。 - ILベースラインと比較し、collision rateとroute completionの改善を実証。 - 具体的な数値や統計は要旨からは不明。

5. 議論はある?

- offline RLのOOD actionに対する過大評価と不安定性が主要課題として議論。 - pseudo ground-truth trajectoryによるbehavior regularizationが安全性と安定性に寄与。 - 計算コストやhyperparameter tuningの負担軽減が動機。 - 限界や今後の課題の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: imitation learning (IL) baselines, online reinforcement learning (RL), offline RL。 - 関連手法: behavior regularization, pseudo ground-truth trajectories, neural rendering-based simulation。 - データセット: nuScenes。 - コード: https://github.com/ToyotaInfoTech/PEBC。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chihiro Noguchi, Takaki Yamamoto

分類: cs.RO, cs.CV

原文アブストラクト

End-to-end (E2E) autonomous driving models that take only camera images as input and directly predict a future trajectory are appealing for their computational efficiency and potential for improved generalization via unified optimization; however, persistent failure modes remain due to reliance on imitation learning (IL). While online reinforcement learning (RL) could mitigate IL-induced issues, the computational burden of neural rendering-based simulation and large E2E networks renders iterative reward and hyperparameter tuning costly. We introduce a camera-only E2E offline RL framework that performs no additional exploration and trains solely on a fixed simulator dataset. Offline RL offers strong data efficiency and rapid experimental iteration, yet is susceptible to instability from overestimation on out-of-distribution (OOD) actions. To address this, we construct pseudo ground-truth trajectories from expert driving logs and use them as a behavior regularization signal, suppressing imitation of unsafe or suboptimal behavior while stabilizing value learning. Training and closed-loop evaluation are conducted in a neural rendering environment learned from the public nuScenes dataset. Empirically, the proposed method achieves substantial improvements in collision rate and route completion compared with IL baselines. Our code is available at https://github.com/ToyotaInfoTech/PEBC.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI