安全スコアマッチング：ハミルトン・ヤコビ到達可能性を用いた拡散ポリシーによるオンライン安全強化学習

- オンライン安全強化学習（safe RL）のための新しい off-policy actor-critic 手法 **Safe Score Matching (SSM)** を提案。 - 拡散ポリシー（diffusion policy）を **Hamilton-Jacobi (HJ) reachability** と組み合わせ、hard な state-wise 制約を扱う。 - 報酬最大化と安全制約を両立するため、二分岐の score target を HJ reachability で gating する。 - quadrotor / fixed-wing の trajectory-tracking と stabilize-and-avoid、Safety-Gymnasium velocity タスクで評価。

- 従来の safe RL は安全を soft な expected-cost 制約に緩和し、primal-dual Lagrangian 更新で平均的にのみ安全を強制。 - HJ reachability を用いる既存手法は hard 制約を課すが、feasible/infeasible 領域で目的が異なり、target action 分布が本質的に multimodal になる。 - 既存の HJ ベース safe RL は Gaussian または deterministic actor を使うため、suboptimal mode に collapse しやすい。 - 既存の Q-score matching は報酬最大化のみに適用されており、hard 制約付き safe RL には未適用。SSM はこれを安全 RL に拡張。

- off-policy actor-critic で、Q-score matching を hard 制約付き safe RL に適応。 - HJ reachability で二分岐の score target を gating。 - feasible set 内：HJ critic が viable と分類した action に対し、denoising を Q-score matching に退化させる。 - feasible set 外：recovery branch が denoising を worst-case violation の低い領域へバイアス。 - diffusion policy の表現力で multimodal な target action 分布を表現。

- quadrotor と fixed-wing の trajectory-tracking、stabilize-and-avoid ベンチマークで評価。 - SSM は best または near-best のタスク性能を達成し、false-safe rate も低い。 - primal-dual baseline はより不安全な行動を許容し、reachability ベース baseline はより保守的になる傾向。 - Safety-Gymnasium の velocity タスクでは、SSM が競争力のある報酬で最低コストを達成。

- 既存 HJ ベース safe RL の actor が multimodal 分布を扱えず suboptimal mode に collapse する問題を指摘。 - diffusion policy と Q-score matching の組み合わせでこの構造的課題に対処。 - primal-dual は平均的安全のみ、reachability ベースは保守的というトレードオフを議論。 - 具体的な限界や失敗ケース、計算コストなどは要旨からは不明。

- Q-score matching の元論文（online RL 向け score regression）。 - Hamilton-Jacobi (HJ) reachability を用いた safe RL の既存研究。 - primal-dual Lagrangian による Constrained Markov Decision Process の手法。 - diffusion policy を RL に用いる研究（diffusion policy / denoising diffusion probabilistic model）。 - Safety-Gymnasium ベンチマーク。