オフラインからオンライン強化学習における敵対的ファインチューニングによるロバストなロボット制御

- 本研究は、offline reinforcement learning で学習した方策を online 環境で adversarial fine-tuning する offline-to-online フレームワーク。 - 目的は actuator faults などの action-space perturbations に対する robustness の向上。 - 対象は continuous-control locomotion tasks。 - clean data で学習後に、実行 action へ perturbation を注入して補償行動を誘導する。

- offline-only baselines に対し robustness が一貫して向上。 - ゼロからの学習 (training from scratch) より速く収束。 - linear curriculum strategy で見られた nominal performance の劣化を、adaptive curriculum strategy が緩和。 - fine-tuning と評価条件を一致させると action-space perturbations への robustness が最も強い。

- offline reinforcement learning で clean data から方策を獲得。 - その後 online で adversarial fine-tuning を実施し、実行 action に perturbation を注入して compensatory behavior を誘導。 - performance-aware curriculum が exponential-moving-average signal を用いて perturbation probability を訓練中に調整。 - robustness と stability のバランスを学習過程全体で取る。

- continuous-control locomotion tasks で実験。 - offline-only baselines との robustness 比較。 - training from scratch との収束速度比較。 - fine-tuning と評価条件の一致/不一致の比較、および adaptive curriculum と linear curriculum の比較。

- fine-tuning と評価条件の一致が最强の robustness をもたらす一方、条件不一致時の挙動は要旨からは不明。 - adaptive curriculum は nominal performance 劣化を緩和するが、その機序や限界は要旨からは不明。 - 実機 actuator faults への適用可能性や他の perturbation 種別への一般化は要旨からは不明。

- 要旨で参照/比較されている offline-only baselines、training from scratch、linear curriculum strategy、adaptive curriculum strategy に関連する研究。 - 同分野の定番として offline reinforcement learning (例: CQL, IQL) や adversarial training / robust reinforcement learning の文献。