動的不確実性下でのロバストな敵対的方策最適化

- 強化学習（RL）ポリシーが訓練時と異なるダイナミクス下で失敗する問題に対処するため、分布ロバストRLの双対定式化を提案。 - 軌道レベルとモデルレベルの2つのコンポーネントからなるRAPO（robust adversarial policy optimization）を開発。 - 軌道レベルでは双対問題の温度パラメータを敵対的ネットワークで近似し、効率的で安定した最悪ケースロールアウトを生成。 - モデルレベルではダイナミクスアンサンブル上でBoltzmann再重み付けを行い、現在のポリシーにとってより不利な環境に焦点を当てる。 - 両コンポーネントは独立して作用し補完し合い、ロバストRLベースラインを上回る性能を達成。

- ドメインランダム化や既存の敵対的RL手法では不十分なダイナミクスギャップに対処。 - 分布ロバストRLは形式的な解決策を提供するが、扱いにくい主問題を近似する代理敵対者に依存し、不安定性や過度な保守性の盲点が残る。 - 提案手法は双対定式化を直接活用し、ロバスト性と性能のトレードオフを明示的に扱う。 - 軌道レベルとモデルレベルの両方で効率的かつ安定した最悪ケース生成を実現し、双対の扱いやすさを維持。 - ロバストRLベースラインと比較して、不確実性への耐性と分布外ダイナミクスへの汎化を改善。

- 双対問題の温度パラメータを敵対的ネットワークで近似し、軌道レベルで効率的かつ安定した最悪ケースロールアウトを生成。 - ダイバージェンス境界内で最悪ケースを探索。 - モデルレベルではダイナミクスアンサンブル上でBoltzmann再重み付けを適用し、現在のポリシーにとってより不利な環境を優先的にサンプリング。 - 軌道レベルのステアリングとモデルレベルのサンプリングが独立して補完的に機能。 - これにより、ロバストなロールアウトとポリシー感度の高い不利なダイナミクスのカバレッジを提供。

- ロバストRLベースラインとの比較を通じて有効性を検証。 - 不確実性への耐性と分布外ダイナミクスへの汎化性能を評価。 - 双対の扱いやすさを維持しつつ、性能向上を確認。 - 具体的な実験設定やデータセットは要旨からは不明。

- 既存の分布ロバストRLは代理敵対者に依存し、不安定性や過度な保守性の盲点があると指摘。 - 提案手法は双対定式化によりロバスト性と性能のトレードオフを直接扱う。 - 軌道レベルとモデルレベルのコンポーネントが独立して補完し合う点を強調。 - 双対の扱いやすさを維持しつつ、ロバスト性と汎化を改善。 - 限界や今後の課題については要旨からは不明。

- 分布ロバストRL（distributionally robust RL） - 敵対的RL（adversarial RL） - ドメインランダム化（domain randomization） - ダイナミクスアンサンブル（dynamics ensembles） - Boltzmann再重み付け（Boltzmann reweighting）