クロスタスク方策ガイダンスによる効率的なマルチタスク強化学習

- Multi-task reinforcement learning において、既に習熟したタスクの control policy を未習得タスクの学習に明示的に活用する枠組み。 - Cross-Task Policy Guidance (CTPG) と呼ぶフレームワークを提案。 - 各タスクに guide policy を学習させ、全タスクの control policy の中から環境と相互作用する behavior policy を選択させる。 - これによりより良い training trajectory を生成することを狙う。

- 既存手法は主に network structure の設計や optimization procedure の工夫による parameter sharing に注力。 - それらは cross-task similarity を直接的に活用する手段を見落としていたと主張。 - CTPG は習熟タスクの control policy から未習得タスクへ明示的な guidance を与える、直接的かつ相補的な方法を提供。 - 既存の parameter sharing 手法に適応可能な汎用フレームワークである点が特徴。

- 各タスクに guide policy を訓練し、全タスクの control policy から behavior policy を選択させる仕組みが中核。 - 学習効率向上のため 2 つの gating mechanism を提案。 - 一方の gate は guidance に有益でない control policy を除外する。 - もう一方の gate は guidance を必要としないタスクをブロックする。 - 既存の parameter sharing アプローチと組み合わせ可能な general framework として設計。

- manipulation および locomotion の benchmark で実証評価を実施。 - CTPG を既存の parameter sharing 手法と組み合わせることで性能が有意に向上したと報告。 - 具体的な benchmark 名や比較手法の詳細は要旨からは不明。

- 要旨からは不明。 - 提案する 2 つの gate の効果や、guide policy 選択の妥当性に関する詳細な議論は要旨には記載なし。 - 限界や失敗ケースについても要旨からは不明。

- 要旨で参照・比較されている既存の parameter sharing に基づく multi-task reinforcement learning 手法（具体的名称は要旨からは不明）。 - 関連する定番として multi-task RL の parameter sharing 手法や、manipulation/locomotion の multi-task benchmark に関する論文。