MOBODY: モデルベースの動特性ずれオフライン強化学習

- off-dynamics offline reinforcement learning を扱う研究 - source と target の dynamics が不一致な offline dataset から policy を学習 - target dataset は限定的 - 提案手法は MOBODY と呼ぶ Model-Based Off-Dynamics Offline RL アルゴリズム - 学習した target dynamics の遷移を用いて policy を最適化 - target domain の探索を狙う

- 既存手法は reward への penalty か、dynamics shift の大きい領域の source transition の破棄を行う - その結果 low-shift 領域のデータのみで policy を最適化 - high-reward state の探索が制限される - MOBODY は low dynamics-shift の遷移のみに頼らず、学習した target dynamics 遷移で policy を最適化 - dynamics shift が大きい場合や最適軌道が low-shift 領域外にある場合でも対応を狙う

- dynamics learning では、同一の next state に到達するには domain ごとに異なる action が必要という観察を利用 - domain ごとに separate action encoder を用意し、異なる action を shared latent space に符号化 - 一方で state の unified representation と共通の transition function は共有 - policy optimization では target Q-weighted behavior cloning loss を導入 - out-of-distribution action を回避 - source domain の Q 値や offline dataset 全 action の一様模倣ではなく、target-domain Q 値の高い action へ policy を誘導

- MuJoCo と Adroit の幅広い benchmark で評価 - 最先端の off-dynamics RL baseline を上回る - 異なる dynamics learning baseline に基づく policy learning 手法と比較しても優位 - 既存手法が苦戦する challenging scenario で特に顕著な改善

- 要旨からは不明 - 限界や失敗ケース、計算コスト、dynamics model の誤差影響などは明示されていない

- 要旨で参照/比較されている off-dynamics RL の既存手法（reward penalty 系、source transition 破棄系） - dynamics learning baseline に基づく policy learning 手法 - 関連する model-based offline RL と offline RL の代表手法（一般名）