安全強化学習/運動計画2025/6/1arXiv:2506.22894

予測安全フィルタを統合した安全強化学習によるドリフト車両の運動計画と制御

Safe Reinforcement Learning with a Predictive Safety Filter for Motion Planning and Control: A Drifting Vehicle Example

強化学習エージェントとモデルベースのドリフトダイナミクスを組み合わせ、予測安全フィルタでオンラインに行動を調整することで、安全かつ効率的な自律ドリフト運動計画を実現した研究。

詳しい要約

1. どんなもの？

- 自動運転車の**autonomous drifting**（滑りやすい路面や緊急回避など安全上重要な場面で必要となる高度なmaneuver）のための**motion planning and control**手法の提案。 - **Safe Reinforcement Learning (RL)** ベースのmotion plannerで、RL agentとmodel-based drift dynamicsを統合し、目標のdrift運動状態を決定する。 - さらに**Predictive Safety Filter (PSF)** を組み込み、agentのactionをオンラインで調整して不安全状態を防止する。 - 学習とdeploymentの両段階での安全性確保を狙う。

2. 先行研究と比べてどこがすごい？

- 従来のmotion planning手法は、特に高速域でのdriftingの高い不安定性・予測困難性への対応が難しい。 - 近年のlearning-based approachはexpert knowledgeに依存したり、exploration能力が限定的であった。 - 既存手法は学習中・deployment中のsafety concernsを効果的に扱えていない。 - 提案手法はRLにmodel-based drift dynamicsとPSFを統合することで、これらの限界に対処する点が特徴。

3. 技術・手法の肝は？

- **RL agent**と**model-based drift dynamics**を組み合わせ、望ましいdrift運動状態を決定するmotion plannerを構成。 - **Predictive Safety Filter (PSF)** を導入し、agentのactionをオンラインで調整して不安全状態を回避。 - これにより安全かつ効率的な学習と安定したdrift operationを両立させる設計。 - 詳細なアルゴリズム構成やPSFの定式化は要旨からは不明。

4. どうやって有効だと検証した？

- **Matlab-Carsim platform**上のsimulationで有効性を検証。 - 従来手法と比較してdrift performanceの大幅な改善、tracking errorの低減、computational efficiencyの向上を示した。 - 具体的な評価指標・比較対象・実験条件の詳細は要旨からは不明。

5. 議論はある？

- 提案手法は安全上重要なmaneuverにおけるautonomous vehicleの能力拡張に寄与する可能性を示唆。 - ただしsimulationのみでの検証であり、実車での妥当性や限界については要旨からは不明。 - PSFの保守性やRLの学習効率への影響など、詳細な議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、**Safe Reinforcement Learning**、**Predictive Safety Filter**、**model-based RL**、**autonomous drifting**のmotion planning/controlに関する論文を次に読むべき候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bei Zhou, Baha Zarrouki, Mattia Piccinini, Cheng Hu, Lei Xie, Johannes Betz

分類: cs.RO

原文アブストラクト

Autonomous drifting is a complex and crucial maneuver for safety-critical scenarios like slippery roads and emergency collision avoidance, requiring precise motion planning and control. Traditional motion planning methods often struggle with the high instability and unpredictability of drifting, particularly when operating at high speeds. Recent learning-based approaches have attempted to tackle this issue but often rely on expert knowledge or have limited exploration capabilities. Additionally, they do not effectively address safety concerns during learning and deployment. To overcome these limitations, we propose a novel Safe Reinforcement Learning (RL)-based motion planner for autonomous drifting. Our approach integrates an RL agent with model-based drift dynamics to determine desired drift motion states, while incorporating a Predictive Safety Filter (PSF) that adjusts the agent's actions online to prevent unsafe states. This ensures safe and efficient learning, and stable drift operation. We validate the effectiveness of our method through simulations on a Matlab-Carsim platform, demonstrating significant improvements in drift performance, reduced tracking errors, and computational efficiency compared to traditional methods. This strategy promises to extend the capabilities of autonomous vehicles in safety-critical maneuvers.

arXivで原文を読む →arXiv概要ページ

← 論文一覧