目標到達強化学習に対する進捗保証付き可逆シンプレックス監督

- 目標到達型強化学習（RL）において、タスク完了を証明するための新しいフレームワーク「Progress-Certified Reversible Simplex」を提案。 - 状態集約、モデル不一致、外乱により通常のRL遷移が無効になる場合でも、タスク完了を認証可能にする。 - 凍結された有限状態ポリシーと、目標レベルのロバスト適応リカバリ、および行動後の進捗負債（progress debt）の明示的な会計を組み合わせる。 - 外側丸め到達可能性検証により、外乱を受けた遷移を検証し、拒否された学習行動からの負債を制限し、ロバストなリカバリと再進入集合を構築する。 - 独立したチェッカーが両方の証明書を受け入れ、リカバリ減分が検証済み負債を超える場合、各完了スイッチングサイクルでストレージが減少し、有限スイッチングと有限サンプル目標進入が得られる。

- 従来のRLでは、状態集約やモデル不一致、外乱により名目上の遷移が無効になるため、タスク完了の証明が困難であった。 - 本手法は、凍結有限状態ポリシーとロバスト適応リカバリを組み合わせ、進捗負債を明示的に会計することで、外乱下でも証明可能な目標到達を実現する。 - 具体的な数値実験では、debt gating ありの場合、20/20の目標進入と0/320の負債テスト違反を達成し、debt gating なしの18/20および742/796と比較して大幅に改善。 - ハードウェアトライアルでは、1 kHzアクチュエータスタック上で50 msの監督を評価し、形式的認証はチェック済みモデルに限定されるが、実機での有効性を示唆。

- 凍結された有限状態ポリシーと、目標レベルのロバスト適応リカバリを組み合わせた可逆Simplexフレームワーク。 - 外側丸め到達可能性検証により、外乱を受けた遷移を検証し、拒否された学習行動からの負債を制限。 - ロバストなリカバリ集合と再進入集合を構築。 - 独立したチェッカーが証明書を受け入れ、リカバリ減分が検証済み負債を超える場合、各スイッチングサイクルでストレージが減少し、有限スイッチングと有限サンプル目標進入を保証。 - 具体的には、チェッカーが全ての保持された義務を解決し、κ_L=0.482を認証し、ε_sw ≥ 0.060を確立。

- 制限されたエンドツーエンドインスタンスにおいて、チェッカーが全ての保持された義務を解決し、κ_L=0.482を認証し、ε_sw ≥ 0.060を確立。 - マッチした数値エピソードでは、debt gating ありで20/20の目標進入と0/320の負債テスト違反を達成。debt gating なしでは18/20および742/796。 - 24回のハードウェアトライアルで、1 kHzアクチュエータスタック上で50 msの監督を評価。形式的認証はチェック済みモデルに限定される。

- 形式的認証はチェック済みモデルに限定されるため、実世界への一般化には注意が必要。 - ハードウェアトライアルでは50 msの監督を評価したが、認証の範囲外。 - 進捗負債の会計とdebt gatingの有効性が示されたが、他の設定での検証は今後の課題。 - 要旨からは、計算コストやスケーラビリティに関する議論は不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Simplex architecture、robust adaptive control、reachability analysis、reinforcement learning with safety certificates などが考えられる。 - 同分野の定番として、safe RL、shielded RL、control barrier functions などの論文が次に読むべき候補。