IN-RIL: 模倣学習と強化学習を交互に組み合わせた方策ファインチューニング

- ロボティクス方策の fine-tuning 手法 IN-RIL（INterleaved Reinforcement learning and Imitation Learning）の提案 - IL ベースの pre-training 後に RL で fine-tuning する二段階パラダイムの不安定性・低サンプル効率を改善することを狙う - RL 更新の間に定期的に IL 更新を挿入する interleaved な学習スキーム - 様々な state-of-the-art な RL アルゴリズムに組み込める汎用 plug-in として位置づけ

- 従来の IL pre-training → RL fine-tuning の二段階手法は RL fine-tuning 段階で不安定・サンプル効率が悪い - IN-RIL は fine-tuning 全体を通じて IL の安定性と expert data の guidance を活用 - IL と RL の目的関数が異なることに起因する干渉を gradient separation で防ぐ点が新しい - 14 タスク・3 benchmarks でサンプル効率改善と性能崩壊の緩和を示す - Robomimic Transport で成功率 12%→88%、6.3x 改善という具体的成果

- RL 更新を複数回行った後に IL 更新を定期的に注入する interleaved 更新 - IL と RL は最適化目的が異なるため、勾配分離機構（gradient separation mechanisms）を導入 - 競合しうる勾配更新を直交部分空間（orthogonal subspaces）に分離して破壊的干渉を防止 - interleaving が学習を安定化しサンプル効率を高める理由について厳密な解析を実施

- FurnitureBench、OpenAI Gym、Robomimic の 3 benchmarks にわたる 14 の robot manipulation / locomotion タスクで実験 - long-horizon と short-horizon、sparse reward と dense reward の両設定で評価 - オンライン fine-tuning におけるサンプル効率改善と性能崩壊の緩和を確認 - Robomimic Transport で成功率が 12% から 88% へ、6.3x の改善 - 各種 state-of-the-art RL アルゴリズムに plug-in として適用可能なことを示す

- interleaving IL と RL がなぜ学習を安定化しサンプル効率を改善するかについて厳密な解析を行い知見を示す - IL と RL の目的関数の違いによる破壊的干渉を gradient separation で扱う設計上の議論 - 具体的な限界や失敗ケース、計算コスト等の詳細は要旨からは不明 - 汎用 plug-in 性の範囲や適用条件の詳細は要旨からは不明

- 比較対象である IL pre-training + RL fine-tuning の二段階パラダイムの代表的研究 - 提案手法が plug-in 可能とされる各種 state-of-the-art RL アルゴリズム（例：model-free off-policy RL 手法） - 評価に用いられた Robomimic、FurnitureBench、OpenAI Gym の関連ベンチマーク論文 - IL と RL の統合や勾配干渉・直交部分空間分離に関する関連手法