深層強化学習による不確実性を分離した安全なソーシャルナビゲーション
Disentangling Uncertainty for Safe Social Navigation using Deep Reinforcement Learning
歩行者環境でのロボットナビゲーションにおいて、偶然・認識・予測の不確実性をPPOに組み込み、不確実な状況では保守的な衝突回避行動に切り替える手法を提案した。
著者: Daniel Flögel, Marcos Gómez Villafañe, Joshua Ransiek, Sören Hohmann
分類: cs.RO, cs.AI, cs.SY, eess.SY
原文アブストラクト
Autonomous mobile robots are increasingly used in pedestrian-rich environments where safe navigation and appropriate human interaction are crucial. While Deep Reinforcement Learning (DRL) enables socially integrated robot behavior, challenges persist in novel or perturbed scenarios to indicate when and why the policy is uncertain. Unknown uncertainty in decision-making can lead to collisions or human discomfort and is one reason why safe and risk-aware navigation is still an open problem. This work introduces a novel approach that integrates aleatoric, epistemic, and predictive uncertainty estimation into a DRL navigation framework for policy distribution uncertainty estimates. We, therefore, incorporate Observation-Dependent Variance (ODV) and dropout into the Proximal Policy Optimization (PPO) algorithm. For different types of perturbations, we compare the ability of deep ensembles and Monte-Carlo dropout (MC-dropout) to estimate the uncertainties of the policy. In uncertain decision-making situations, we propose to change the robot's social behavior to conservative collision avoidance. The results show improved training performance with ODV and dropout in PPO and reveal that the training scenario has an impact on the generalization. In addition, MC-dropout is more sensitive to perturbations and correlates the uncertainty type to the perturbation better. With the safe action selection, the robot can navigate in perturbed environments with fewer collisions.
関連論文
- RESONATE: 自律サービスロボットのための実環境ソーシャルナビゲーション評価ベンチマークソーシャルナビゲーション
- Arena 5.0: ソーシャルナビゲーション開発・評価のためのフォトリアリスティックなROS2シミュレーションフレームワークソーシャルナビゲーション
- LiDARから直接制御する安全なソーシャルナビゲーションのためのマルチタスク強化学習と確率的知覚ソーシャルナビゲーション
- インターネット動画から方策状態空間でソーシャルナビゲーションを学習ソーシャルナビゲーション
- どこに加わるべきか?言語誘導型目標予測によるロボットのグループ参加ソーシャルナビゲーション
- PISHYAR: 視覚障害者向けの社会的インテリジェントなスマート杖による屋内ソーシャルナビゲーションとマルチモーダルな人間-ロボットインタラクションソーシャルナビゲーション
