JuggleRL: 深層強化学習によるクアッドロータのボールジャグリング習得

- 対象は racket を搭載した quadrotor による aerial ball juggling - JuggleRL と名付けた、aerial juggling のための初の reinforcement learning ベースのシステム - 閉ループ policy を大規模 simulation で学習し、実機へ zero-shot 展開 - 連続した hit の維持を目指す contact-rich な動的タスク

- 著者らは aerial juggling に対する初の reinforcement learning ベースのシステムと位置づけ - model-based baseline は最大 14 hits、平均 3.1 hits にとどまる - 一方 JuggleRL は実世界で 10 試行平均 311 hits、最大 462 hits - 未見条件への汎化も示し、より軽い 5 g の ball で平均 145.9 hits

- 大規模 simulation で closed-loop policy を学習 - quadrotor と ball の dynamics を体系的に calibration し sim-to-real gap を低減 - racket-centered な hit と sustained juggling を促す reward shaping を採用 - ball 位置と coefficient of restitution に対する domain randomization で robustness と transferability を向上 - policy は mid-level command を出力し、low-level controller が実行 - 実機では lightweight communication protocol 付きの enhanced perception module で高頻度 state estimation の遅延を低減しリアルタイム制御を確保

- 学習 policy を実 hardware に zero-shot で展開して評価 - 実世界で 10 連続試行の平均 311 hits、最大 462 hits を報告 - model-based baseline との比較で最大 14 hits、平均 3.1 hits を上回る - 未見条件として 5 g の軽い ball でも平均 145.9 hits を達成

- reinforcement learning が動的 interaction タスクにおける aerial robot の robust かつ stable な制御を可能にすることを示す - 具体的な限界や失敗事例、議論の詳細は要旨からは不明 - sim-to-real gap 低減のための calibration と domain randomization の寄与の定量分析は要旨からは不明

- 要旨で比較されている model-based baseline の詳細論文 - sim-to-real 転移のための dynamics calibration や domain randomization に関する研究 - quadrotor による contact-rich manipulation や aerial interaction の関連研究 - 同分野の定番として reinforcement learning を用いた sim-to-real ロボティクス研究