GraSP-STL: オフライン目標条件付き強化学習によるゼロショット信号時相論理計画のためのグラフベースフレームワーク

オフラインかつゼロショットで Signal Temporal Logic (STL) 仕様を満たす制御戦略を合成する問題を扱う。タスク非依存の挙動方策で収集された state-action-state 遷移のオフラインデータセットのみを利用し、解析的ダイナミクスモデルや追加の環境相互作用、タスク固有の再学習を仮定しない。任意の未見 STL 仕様を満たす軌道を生成することを目的とする。

従来の STL プランニングは解析的モデルやオンライン相互作用、タスク固有学習を要することが多い。GraSP-STL はオフラインデータのみから goal-conditioned value function を学習し、再利用可能な reachability 学習とタスク条件付きプランニングを分離することで、未見 STL タスクへのゼロショット一般化と、短ホライズン行動の合成による長ホライズンプランニングを可能にする点が異なる。

オフラインデータから goal-conditioned value function を学習し、状態空間上の有限ホライズン reachability metric を導出する。この metric に基づき代表状態をノード、実行可能な短ホライズン遷移をエッジとする有向グラフ抽象を構築する。プランニングは waypoint 列のグラフ探索として定式化し、arithmetic-geometric mean robustness とその interval semantics で評価し、学習済み goal-conditioned policy で実行する。

一連のオフライン STL プランニングタスクにおける実験結果で有効性を示している。ただし具体的なベンチマーク名、比較手法、評価指標の詳細は要旨からは不明。

要旨からは不明。オフラインデータのみ、追加相互作用なし、タスク固有再学習なしという制約下でのゼロショット一般化と長ホライズン計画の実現を主張しているが、限界や失敗事例、計算コスト、グラフ抽象の粒度依存性などについての議論は要旨に記載がない。

要旨で参照・比較されている研究は明示されていない。関連手法として、offline goal-conditioned reinforcement learning、Signal Temporal Logic (STL) planning、graph-based planning、reachability analysis、robustness semantics の定番文献を挙げる。