安全探索：リカバリ介入付き強化学習のための不偏混合方策勾配

- 物理ロボットでの学習時の転倒を抑えるための強化学習手法。 - 危険領域では recovery policy に制御を渡す mixed-policy rollout を扱う。 - PPO の drop-in 的変更として SafeExplorer を提案。 - 目的は training falls の削減と最終 reward の維持・向上。

- 従来は安全領域外で recovery policy に切替えると mixed-policy rollout が on-policy update を bias させる問題があった。 - recovery policy が deterministic な場合、importance sampling では bias を除去できない。 - SafeExplorer は recovery policy の density を評価せずに unbiased な policy-gradient estimator を構成できる点が新しい。 - 最終 reward で truncated importance sampling と同等以上。

- mixed-policy return の unbiased policy-gradient estimator を基盤にする。 - score function を safe region 内でのみ使用し、recovery policy の密度評価を不要にする。 - dynamics と recovery が deterministic なとき、recovery-triggering states で closed-form critic target を用いて境界付近の学習を加速。 - 成功した recovery のみから recovery actions を模倣する imitation loss を併用。

- 3つの simulated locomotion environments で各10 seeds の実験。 - HalfCheetah、Ant、Unitree Go1 で標準 PPO より training falls がそれぞれ 255×、43×、21× 少ない。 - 最終 reward は PPO と同等以上。 - Ant では recovery interventions の 8.7% が fall に終わる設定で、SafeExplorer は全 seed で success threshold に到達し、5 baselines はいずれも到達しなかった。

- recovery controller が既に利用可能であることを前提とする。 - deterministic な dynamics と recovery を仮定する closed-form critic target の条件が議論点。 - recovery が失敗する場合の扱いとして、成功 recovery のみを模倣する設計。 - 実機ロボットでの検証や recovery policy 自体の学習は要旨からは不明。

- proximal policy optimization (PPO) - truncated importance sampling - importance sampling を用いた off-policy/混合方策の policy-gradient 補正 - recovery policy を用いる safe reinforcement learning - deterministic policy のための score function estimator