世界モデルを用いたオフポリシー・ブートストラップ強化学習

- 強化学習(RL)における online planning と off-policy learning を統合するフレームワーク BOOM (Bootstrap Off-policy with WOrld Model) の提案。 - 計画(planning)を環境相互作用に使うと、収集データと方策の実行動の間に乖離が生じ、モデル学習と方策改善を劣化させる問題に対処する。 - 高次元の DeepMind Control Suite と Humanoid-Bench で評価。

- 従来の online planning を用いる RL では、planning による環境相互作用がデータと方策行動の乖離を生み、model learning と policy improvement を劣化させる点が課題。 - BOOM は planning と off-policy learning を bootstrap loop で密に統合し、この乖離を behavior alignment で緩和する点が特徴。 - 要旨からは、具体的な先行研究名や定量的な比較は不明。

- 方策が planner を初期化し、planner が行動を洗練して behavior alignment を通じて方策を bootstrap するループを構成。 - 共同学習される world model が将来軌道をシミュレートし、価値ターゲットを提供して方策改善を支援。 - 中核は likelihood-free alignment loss で、planner の non-parametric action distribution を用いて方策を bootstrap。 - soft value-weighted mechanism により高リターン行動を優先し、replay buffer 内の planner 行動品質のばらつきを緩和。

- 高次元の DeepMind Control Suite と Humanoid-Bench で実験。 - 訓練の安定性と最終性能の両方で state-of-the-art の結果を達成したと報告。 - 具体的なベースラインやアブレーションの詳細は要旨からは不明。

- 要旨からは不明(planning と off-policy learning の乖離、planner 行動品質のばらつきへの対処が動機として述べられている)。 - 限界や失敗事例に関する議論は要旨からは不明。

- 要旨で参照・比較されている個別研究は不明。 - 関連手法として world model を用いる MBRL (model-based RL)、online planning を用いる RL、off-policy learning の定番手法を次に読む候補として挙げる。