Warp RL: ベースポリシー分布の再形成による動力学適応

本論文は、事前学習済みロボット方策を動力学シフトに適応させる手法 Warp RL を提案する。 - 従来の residual reinforcement learning は行動に加算的な補正を学習する。 - これに対し、Warp RL は base policy の行動分布そのものを可逆な状態条件付き変換で変形する。 - 変換には monotonic rational-quadratic spline flows を用いる。 - 適応が分布の平行移動で足りる場合は residual と同等、分布の再形成が必要な場合は大幅に上回る。 - off-policy の sim-to-real パイプラインにも適用可能。

従来の additive residual correction と比較して、以下の点が優れる。 - additive correction は base policy の行動分布の平行移動しかできず、分散・信頼度・状態依存の幾何形状を変えられない。 - 本論文はこれを wrong variance、miscalibrated confidence、non-uniform correction として定式化。 - 動力学シフト下で base 分布が幾何的に不一致な場合、residual は未適応方策すら下回りうることを示す。 - Warp RL は identity initialization を保ち、additive residual correction を厳密に一般化する。 - 適応空間が構造化され、policy-gradient と gradient-free 最適化の両方に適する。

技術の肝は以下の通り。 - additive residual を、base policy の行動分布に対する可逆な状態条件付き変換に置き換える。 - monotonic rational-quadratic spline flows で変換を実現する。 - identity initialization により学習開始時は base policy と同一の振る舞いを保証する。 - additive residual correction を厳密に包含する一般化となっている。 - 構造化された適応空間により、policy-gradient と gradient-free の両最適化が可能。

以下の実験で有効性を検証している。 - ManiSkill3 の多様な manipulation タスクで、制御された dynamics shift を設定。 - 適応が translation で十分な場合は residual correction と同等の性能。 - 分布の reshaping が必要な場合は residual correction を大幅に上回る。 - off-policy の sim-to-real パイプラインで additive correction を置き換え。 - 実機の peg-insertion タスクで同等の成功率を達成しつつ、タスク完了が 30% 高速化。

要旨からは不明。 - 限界や失敗ケース、計算コスト、spline flows のハイパーパラメータ感度などは述べられていない。 - 実機実験は peg-insertion の一例のみで、他タスクへの一般性は要旨からは不明。

要旨で参照・比較されている研究や関連手法を挙げる。 - residual reinforcement learning（additive residual correction の従来手法） - monotonic rational-quadratic spline flows (arXiv:1906.04032) - ManiSkill3（評価に用いた manipulation タスク群） - off-policy sim-to-real パイプライン - 関連する同分野の定番として、domain randomization や system identification による dynamics adaptation