効率的な一次強化学習のための局所・大域世界モデルの結合

- 本論文は、ロボットの実環境との相互作用から学習した world model 内で RL policy を訓練する手法を提案する。 - simulator を完全に bypass し、大規模 diffusion model を用いた policy 訓練を可能にする。 - 新規の decoupled first-order gradient (FoG) 法を中核とし、full-scale world model が正確な forward trajectory を生成し、軽量な latent-space surrogate が局所 dynamics を近似して効率的な gradient 計算を実現する。 - Push-T manipulation task と四足歩行ロボットの ego-centric object manipulation task で有効性を検証。 - 画像空間における hard-to-model RL task を hand-crafted physics simulator に依存せず解く道筋を示す。

- 従来の world model は計算コストが高く、複雑な locomotion には成功したが manipulation には苦戦する RL 手法との組み合わせが困難だった。 - 本手法は simulator を一切使わず、実環境から学習した world model 内で policy を訓練する点で異なる。 - 大規模 diffusion model を用いた policy 訓練を、decoupled first-order gradient (FoG) 法により可能にした点が新しい。 - Push-T manipulation task において PPO よりも sample efficiency で大幅に優れることを示した。 - 四足歩行ロボットの ego-centric object manipulation task でも評価し、データ駆動型 world model 内学習の有効性を示した。

- 中核は decoupled first-order gradient (FoG) 法：full-scale world model が正確な forward trajectory を生成し、軽量な latent-space surrogate がその局所 dynamics を近似する。 - この local と global の world model の coupling により、高忠実度の unrolling と計算可能な differentiation を両立。 - simulator を bypass し、ロボットの実環境との相互作用から学習した world model 内で RL policy を訓練。 - 大規模 diffusion model を policy 訓練に活用。 - 画像空間での hard-to-model RL task に対応。

- Push-T manipulation task で評価し、PPO と比較して sample efficiency で大幅に上回ることを示した。 - 四足歩行ロボットによる ego-centric object manipulation task でも評価。 - これらの結果から、データ駆動型 world model 内での学習が、hand-crafted physics simulator に依存せず画像空間の難しい RL task を解く有望な道であることを示した。

- 本手法は simulator を bypass し、world model 内で policy を訓練する利点を強調。 - 大規模 diffusion model の計算複雑性に対処するため、decoupled first-order gradient (FoG) 法を導入。 - local と global の world model の coupling が高忠実度 unrolling と計算可能な differentiation を両立させる。 - 限界や今後の課題については要旨からは不明。

- PPO (Proximal Policy Optimization) - diffusion model を用いた world model 関連研究 - model-based RL における world model 学習手法 - Push-T manipulation task に関する研究 - 四足歩行ロボットの manipulation 研究