調和勾配を用いた分布型Soft Actor-Criticによるマルチレーン自動運転の安全かつ効率的な学習
Distributional Soft Actor-Critic with Harmonic Gradient for Safe and Efficient Autonomous Driving in Multi-lane Scenarios
効率的な走行と安全制約の2つの方策勾配を調和させて衝突を抑える新しい安全強化学習手法DSAC-Hを提案し、マルチレーン自動運転でほぼ違反ゼロの効率的走行を実現した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Feihong Zhang, Guojian Zhan, Bin Shuai, Tianyi Zhang, Jingliang Duan, Shengbo Eben Li
分類: cs.RO, cs.AI, cs.LG
原文アブストラクト
Reinforcement learning (RL), known for its self-evolution capability, offers a promising approach to training high-level autonomous driving systems. However, handling constraints remains a significant challenge for existing RL algorithms, particularly in real-world applications. In this paper, we propose a new safety-oriented training technique called harmonic policy iteration (HPI). At each RL iteration, it first calculates two policy gradients associated with efficient driving and safety constraints, respectively. Then, a harmonic gradient is derived for policy updating, minimizing conflicts between the two gradients and consequently enabling a more balanced and stable training process. Furthermore, we adopt the state-of-the-art DSAC algorithm as the backbone and integrate it with our HPI to develop a new safe RL algorithm, DSAC-H. Extensive simulations in multi-lane scenarios demonstrate that DSAC-H achieves efficient driving performance with near-zero safety constraint violations.
関連論文
- 安全な実行を超えて:価値校正と適応的ガイダンスによる自動運転のための安全なオンライン強化学習自動運転/安全強化学習
- 安全でロバストな自動運転のためのリスク感受性と不確実性を考慮した意思決定・制御フレームワーク自動運転/安全強化学習
- 予測的安全表現を用いた安全な自動運転ポリシーの学習自動運転/安全強化学習
- VLM-SAFE: 視覚言語モデルと世界モデルによる安全志向の自動運転強化学習自動運転/安全強化学習
- シーン分解を用いた安全強化学習による複雑な都市環境の走行自動運転/安全強化学習
