制約付き強化学習のための確率的決定ホライズン

- 制約付き強化学習(constrained RL)において、毎ステップの制約満足(every-step constraint satisfaction)を目指す枠組み「stochastic decision horizons (SDH)」を提案する研究。 - SDHでは、制約違反がstate-action continuation probabilityを通じて実効的なhorizonの短縮を引き起こすと定式化する。 - Control as Inferenceを用い、瞬時制約(instantaneous constraints)を扱う初のoff-policyかつregularizedなアルゴリズムを開発する。 - 違反後の意思決定の意味論として、absorbing-state semanticsとvirtual-terminationの2つを同定する。

- 従来のconstrained RLはCMDPに基づく累積予算型が主流だが、本手法は毎ステップ制約満足を目指す点で異なる。 - 瞬時制約を扱うoff-policyかつregularizedなアルゴリズムは初と主張している。 - SDHは軌道を総違反量の指数で重み付けする形になり、違反が単一の特徴的スケールで起きる場合にadditive CMDP budgetと厳密に一致することを示す。 - まれで深い違反と頻繁で浅い違反が混在する場合には一致しない点も特定している。

- 制約違反をstate-action continuation probabilityによるhorizon短縮として扱うSDHを定式化する。 - Control as Inferenceに基づき、off-policyかつregularizedなアルゴリズムを導出する。 - 違反後の意味論として、absorbing-state semanticsでは決定過程を終了し生存した決定のみがentropy costを払うmax-entropy AS-SACを提案する。 - virtual-terminationでは決定過程を維持しつつreward creditを停止するKL-regularized VT-MPOを提案する。 - 軌道に沿った違反の蓄積(violation-depth profile)を追跡し、SDHとCMDPの関係を解析する。

- 90-muscle H2190 humanoid (Hyfydy)において、VT-MPOがstate-of-the-artの歩容リアリズムに一致しつつ、環境ステップ数が4分の1で済み、訓練が大幅に安定することを示す。 - Safety Gymnasiumにおいて、violation-depth profileがSDHが強いreward-violationトレードオフを提供する領域を正しく同定することを示す。 - 実験は理論を検証すると述べられている。

- SDHは軌道を総違反量の指数で重み付けし、違反が単一の特徴的スケールで起きる場合にadditive CMDP budgetと厳密に一致する。 - まれで深い違反と頻繁で浅い違反が混在する場合には一致しない点を指摘している。 - この不一致が実用上どの程度問題となるか、また他の制約設定への一般化については要旨からは不明。

- 要旨で参照/比較されている研究: CMDP (Constrained Markov Decision Process)、Control as Inference、max-entropy RL、SAC、MPO。 - 関連手法: Safety Gymnasium、Hyfydy上のH2190 humanoid。 - 同分野の定番として、CPO (Constrained Policy Optimization)、PPO-Lagrangian、RCPO (Reward Constrained Policy Optimization)などが次に読む候補となる。