境界から領域への監督によるオフライン安全強化学習

- Offline safe reinforcement learning において、静的データセットから安全制約を満たす policy を学習する問題を扱う研究。 - 既存の sequence-model-based 手法が return-to-go (RTG) と cost-to-go (CTG) を対称な入力トークンとして扱う点を問題視。 - RTG は柔軟な性能目標、CTG は厳格な安全境界という非対称性を指摘し、非対称 conditioning を可能にする Boundary-to-Region (B2R) を提案。

- 既存の sequence-model-based 手法は RTG と CTG を symmetric input tokens として条件付けし、両者の本質的非対称性を無視していた。 - その結果、特に out-of-distribution な cost trajectories に対して制約充足が不安定になる。 - B2R は cost signal realignment により非対称 conditioning を実現し、安全制約充足の信頼性を高める点が新しい。

- CTG を固定 safety budget 下の boundary constraint として再定義する cost signal realignment が中核。 - これにより全 feasible trajectories の cost distribution を統一しつつ reward structures を保持する。 - rotary positional embeddings を組み合わせ、safe region 内での exploration を促進する。

- 38 個の safety-critical tasks において実験を実施。 - B2R はそのうち 35 タスクで安全制約を満たし、baseline methods より優れた reward performance を達成したと報告。 - 詳細な評価プロトコルや baseline の内訳は要旨からは不明。

- symmetric token conditioning の限界を示し、sequence models を safe RL に適用する新たな理論的・実践的アプローチを提示。 - 一方、B2R の限界や失敗事例、計算コスト、他手法との詳細比較は要旨からは不明。

- 要旨で直接参照されている sequence-model-based offline safe RL 手法（RTG/CTG を対称 conditioning する既存研究）。 - 関連手法として Decision Transformer 系の sequence modeling と offline safe RL の constrained policy optimization 系研究。 - 具体的な論文名は要旨からは不明。