アクター・クリティック強化学習によるクアッドロータのロバストで低レベル非依存な制御器の設計
Designing a Robust Low-Level Agnostic Controller for a Quadrotor with Actor-Critic Reinforcement Learning
ドメインランダム化を用いたSoft Actor-Criticベースの低レベル経路誘導制御器を訓練し、ペイロードの積み下ろしタスクにおいて従来のPID制御器より優れた性能とロバスト性を示した。
著者: Guilherme Siqueira Eduardo, Wouter Caarls
分類: cs.RO, cs.LG
原文アブストラクト
Purpose: Real-life applications using quadrotors introduce a number of disturbances and time-varying properties that pose a challenge to flight controllers. We observed that, when a quadrotor is tasked with picking up and dropping a payload, traditional PID and RL-based controllers found in literature struggle to maintain flight after the vehicle changes its dynamics due to interaction with this external object. Methods: In this work, we introduce domain randomization during the training phase of a low-level waypoint guidance controller based on Soft Actor-Critic. The resulting controller is evaluated on the proposed payload pick up and drop task with added disturbances that emulate real-life operation of the vehicle. Results & Conclusion: We show that, by introducing a certain degree of uncertainty in quadrotor dynamics during training, we can obtain a controller that is capable to perform the proposed task using a larger variation of quadrotor parameters. Additionally, the RL-based controller outperforms a traditional positional PID controller with optimized gains in this task, while remaining agnostic to different simulation parameters.
関連論文
- バッテリー状態を考慮した強化学習によるアグレッシブなクアッドロータ飛行飛行制御/強化学習
- CORB-Planner: 高速飛行におけるRLプランニングのための観測としてのコリドー飛行制御/強化学習
- 強化学習によるクアッドコプターの耐故障制御飛行制御/強化学習
- 大きな外乱を受けるUASのRLに基づく制御飛行制御/強化学習
- スケール対応深層強化学習による動特性不変なクアッドロータ制御飛行制御/強化学習
- 深層強化学習によるソフトアクチュエータ昆虫サイズ飛行ロボットのホバリング飛行飛行制御/強化学習
