日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転arXiv:2509.17940

DriveDPO:安全な選好最適化によるエンドツーエンド自動運転の政策学習

DriveDPO: Policy Learning via Safety DPO For End-to-End Autonomous Driving

シェア:XThreadsFacebookLINEはてブBluesky

人間模倣とルールベース安全性を統合した選好最適化で運転軌道を学習し、NAVSIMで最高性能を達成した手法。

詳しい要約

1. どんなもの?

- End-to-end autonomous driving において、raw perception inputs から将来 trajectory を直接予測する policy を学習する枠組み - 名称は DriveDPO: Safety Direct Preference Optimization Policy Learning framework - imitation learning ベースの主流手法が持つ安全性の限界に対処することを狙う - trajectory-level の preference alignment として DPO を反復的に適用する点が特徴 - NAVSIM benchmark で評価される手法

2. 先行研究と比べてどこがすごい?

- 主流の imitation learning は human-like だが潜在的に unsafe な trajectory を区別できない問題がある - 近年の rule-driven scores を複数回帰する手法は、supervision と policy optimization が decouple され suboptimal になりやすい - DriveDPO は human imitation similarity と rule-based safety scores から unified policy distribution を distill し、直接 policy optimization を行う - さらに iterative DPO stage を導入し trajectory-level preference alignment を実現 - 結果として NAVSIM で PDMS 90.0 の新たな state-of-the-art を達成

3. 技術・手法の肝は?

- 第一段階として、human imitation similarity と rule-based safety scores を統合した unified policy distribution を distill - その分布に基づき direct policy optimization を実施 - 第二段階として iterative Direct Preference Optimization を導入 - DPO を trajectory-level の preference alignment として定式化 - safety を考慮した preference に沿って policy を反復的に更新する枠組み

4. どうやって有効だと検証した?

- NAVSIM benchmark 上で extensive experiments を実施 - PDMS 90.0 を達成し新たな state-of-the-art であることを報告 - 多様で challenging な scenario における qualitative results を提示 - それにより safer で more reliable な driving behavior を生成できることを示す - 定量的指標と定性例の両面から有効性を検証

5. 議論はある?

- imitation learning の human-like だが unsafe な trajectory を区別できない点を主要課題として議論 - rule-driven scores の回帰手法が supervision と policy optimization を decouple し suboptimal になる点も議論 - DriveDPO は unified policy distribution の distill と iterative DPO でこれらに対処 - 多様な challenging scenario で safer な挙動が得られたと報告 - 限界や失敗事例、計算コストなどの詳細は要旨からは不明

6. 次に読むべき論文は?

- Direct Preference Optimization (DPO) の原論文 - imitation learning ベースの end-to-end autonomous driving 手法 - rule-driven scores を回帰する既存の safety-aware 手法 - NAVSIM benchmark および PDMS 指標の関連研究 - trajectory-level preference alignment を用いた planning/policy learning の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuyao Shang, Yuntao Chen, Yuqi Wang, Yingyan Li, Zhaoxiang Zhang

分類: cs.RO, cs.CV

原文アブストラクト

End-to-end autonomous driving has substantially progressed by directly predicting future trajectories from raw perception inputs, which bypasses traditional modular pipelines. However, mainstream methods trained via imitation learning suffer from critical safety limitations, as they fail to distinguish between trajectories that appear human-like but are potentially unsafe. Some recent approaches attempt to address this by regressing multiple rule-driven scores but decoupling supervision from policy optimization, resulting in suboptimal performance. To tackle these challenges, we propose DriveDPO, a Safety Direct Preference Optimization Policy Learning framework. First, we distill a unified policy distribution from human imitation similarity and rule-based safety scores for direct policy optimization. Further, we introduce an iterative Direct Preference Optimization stage formulated as trajectory-level preference alignment. Extensive experiments on the NAVSIM benchmark demonstrate that DriveDPO achieves a new state-of-the-art PDMS of 90.0. Furthermore, qualitative results across diverse challenging scenarios highlight DriveDPO's ability to produce safer and more reliable driving behaviors.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI