デモンストレーションを活用した深層強化学習によるUAV障害物回避ローカルプランナ
Deep Reinforcement Learning based Local Planner for UAV Obstacle Avoidance using Demonstration Data
模倣学習と強化学習を組み合わせたTD3ベースの枠組みで、専門家デモを用いてUAVの未知環境ナビゲーションを効率的に学習する手法を提案した。
著者: Lei He, Nabil Aouf, James F. Whidborne, Bifeng Song
分類: cs.RO
原文アブストラクト
In this paper, a deep reinforcement learning (DRL) method is proposed to address the problem of UAV navigation in an unknown environment. However, DRL algorithms are limited by the data efficiency problem as they typically require a huge amount of data before they reach a reasonable performance. To speed up the DRL training process, we developed a novel learning framework which combines imitation learning and reinforcement learning and building upon Twin Delayed DDPG (TD3) algorithm. We newly introduced both policy and Q-value network are learned using the expert demonstration during the imitation phase. To tackle the distribution mismatch problem transfer from imitation to reinforcement learning, both TD-error and decayed imitation loss are used to update the pre-trained network when start interacting with the environment. The performances of the proposed algorithm are demonstrated on the challenging 3D UAV navigation problem using depth cameras and sketched in a variety of simulation environments.
関連論文
- DroneDiffusion: 知覚信頼性を考慮した拡散モデルによるUAV経路計画UAVナビゲーション
- オンボード軽量LLM推論による人を意識した安全なUAVナビゲーションUAVナビゲーション
- GNSS劣化環境下の都市部におけるクアッドロータUAVナビゲーションのための信念適応型オンライン自律性UAVナビゲーション
- RACO: 点検指向UAV視覚言語ナビゲーションのための信頼性を考慮した粗目標最適化UAVナビゲーション
- AirAlign: ジオメトリを考慮したUAV最終メートル航法のための相対ポーズ整列UAVナビゲーション
- 形状適合領域による閉鎖・劣化環境での飛行UAVナビゲーション
