勾配ペナルティ付き潜在ダイナミクスによる滑らかでサンプル効率的な夢の学習

- DreamerV3 などの latent world model における transition dynamics の局所平滑性を明示的に強制する regularizer を提案。 - 名称は GPLD (Gradient-Penalized Latent Dynamics)。 - posterior latent distribution に row-wise Jacobian penalty を課す。 - 対象は model-based reinforcement learning (MBRL) の sample efficiency 改善。 - DeepMind Control の proprioceptive タスクで評価。

- 既存の DreamerV3 など latent world model は transition dynamics の局所平滑性を明示的に強制していない。 - そのため transition dynamics 学習における有用な inductive bias が未活用だった。 - GPLD はこの平滑性を明示的に正則化する点が新しい。 - 結果として aggregate sample efficiency を改善。 - 特に高複雑度の locomotion 環境で大きな利得。

- posterior latent distribution に row-wise Jacobian penalty を適用。 - これにより局所的に滑らかな transition 学習を促す。 - この penalty は discrete embedded-state MDP における transition law の finite-difference smoothing の連続潜在版と解釈可能。 - Hutchinson-style stochastic probes で効率的に推定。 - DreamerV3 に対する regularizer として組み込む。

- DeepMind Control の proprioceptive タスクで評価。 - aggregate sample efficiency の改善を確認。 - 高複雑度 locomotion 環境で特に強い利得。 - より難しい quadruped タスクでは高リターン挙動に早期到達。 - 長い horizon で late-stage learning がより一貫。

- 明示的な局所平滑性正則化は、滑らかな連続制御環境における latent world model 改善の簡単かつ効果的な方法。 - 一方、非滑らかな環境や他のタスクへの一般性は要旨からは不明。 - 計算コストや Hutchinson-style stochastic probes の分散などは要旨からは不明。 - 理論的解釈と実証結果の対応の詳細は要旨からは不明。

- DreamerV3 (既存 latent world model として比較対象)。 - Hutchinson-style stochastic probes (penalty 推定に使用)。 - finite-difference smoothing of transition laws in discrete embedded-state MDPs (理論的解釈の関連)。 - model-based reinforcement learning における latent dynamics 正則化の関連研究。 - DeepMind Control および quadruped locomotion タスクのベンチマーク研究。