日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動運転/軌道計画arXiv:2505.17659

Plan-R1: 言語モデリングとしての安全で実行可能な軌道計画

Plan-R1: Safe and Feasible Trajectory Planning as Language Modeling

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルの手法を応用し、専門家データでの事前学習とルールベース報酬による強化学習(VD-GRPO)を組み合わせて、安全性と快適性を両立した自動運転の軌道計画フレームワークを提案した論文。

詳しい要約

1. どんなもの?

- 自動運転向けの安全で実行可能な軌道計画フレームワーク Plan-R1 の提案 - 軌道計画を language modeling として扱う二段階構成 - 第一段階: expert data で一般的な軌道予測器を事前学習し人間らしい運転を獲得 - 第二段階: rule-based rewards を用いた GRPO による fine-tuning で安全・快適・交通規則遵守へ整合 - 提案の Variance-Decoupled GRPO (VD-GRPO) を含む - nuPlan benchmark で評価し state-of-the-art を報告

2. 先行研究と比べてどこがすごい?

- 既存の learning-based planner は expert demonstrations に強く依存 - 明示的な安全意識を欠く - 人間の劣った運転(例: speeding)の望ましくない挙動を継承する risk - Plan-R1 は principle alignment と behavior learning を分離 - 人間らしさを保ちつつ安全意識を強化し、demonstrations の望ましくないパターンを捨てる - GRPO を planning に直接適用する際の group-wise normalization の問題を指摘し VD-GRPO で対処 - 結果として nuPlan で安全性・実現可能性を大きく改善し state-of-the-art、特に realistic reactive settings で良好

3. 技術・手法の肝は?

- 二段階の trajectory planning framework - Stage 1: expert data で general trajectory predictor を pre-train - Stage 2: rule-based rewards で GRPO により fine-tune し safety, comfort, traffic rule compliance へ align - 課題: GRPO の group-wise normalization が cross-group scale differences を消す - 稀で高分散な safety-violation group が、豊富で低分散な safe group と同程度の advantage になり、安全-critical 目的の最適化を抑制 - 対策: Variance-Decoupled GRPO (VD-GRPO) - normalization を centering と fixed scaling に置換 - absolute reward magnitudes…

4. どうやって有効だと検証した?

- nuPlan benchmark 上で実験 - Plan-R1 が planning safety と feasibility を有意に改善し state-of-the-art 性能を達成 - 特に realistic reactive settings で有効と報告 - 具体的な比較手法・指標・ablation の詳細は要旨からは不明

5. 議論はある?

- GRPO を planning に直接用いる際の group-wise normalization の限界を議論 - cross-group scale differences の消失 - 稀で高分散な safety-violation group の advantage が過小評価され、安全-critical 目的の最適化が抑制される - これを VD-GRPO の centering と fixed scaling で緩和する設計を主張 - その他の限界・失敗事例・計算コスト等の議論は要旨からは不明

6. 次に読むべき論文は?

- Group Relative Policy Optimization (GRPO) - Plan-R1 内で比較対象となる既存の learning-based planner(expert demonstrations 依存型) - nuPlan benchmark 関連の planning 研究 - rule-based rewards を用いた RL fine-tuning による自動運転計画の関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaolong Tang, Meina Kan, Shiguang Shan, Xilin Chen

分類: cs.RO, cs.CV

原文アブストラクト

Safe and feasible trajectory planning is critical for real-world autonomous driving systems. However, existing learning-based planners rely heavily on expert demonstrations, which not only lack explicit safety awareness but also risk inheriting undesirable behaviors such as speeding from suboptimal human driving data. Inspired by the success of large language models, we propose Plan-R1, a two-stage trajectory planning framework that decouples principle alignment from behavior learning. In the first stage, a general trajectory predictor is pre-trained on expert data to capture diverse, human-like driving behaviors. In the second stage, the model is fine-tuned with rule-based rewards using Group Relative Policy Optimization (GRPO), explicitly aligning ego planning with principles such as safety, comfort, and traffic rule compliance. This two-stage paradigm retains human-like behaviors while enhancing safety awareness and discarding undesirable patterns from demonstrations. Furthermore, we identify a key limitation of directly applying GRPO to planning: group-wise normalization erases cross-group scale differences, causing rare, high-variance safety-violation groups to have similar advantages as abundant low-variance safe groups, thereby suppressing optimization for safety-critical objectives. To address this, we propose Variance-Decoupled GRPO (VD-GRPO), which replaces normalization with centering and fixed scaling to preserve absolute reward magnitudes, ensuring that safety-critical objectives remain dominant throughout training. Experiments on the nuPlan benchmark demonstrate that Plan-R1 significantly improves planning safety and feasibility, achieving state-of-the-art performance, particularly in realistic reactive settings. Our code is available at https://github.com/XiaolongTang23/Plan-R1.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI