後知恵選好リプレイによる選好条件付き多目的強化学習の改善

Preference-conditioned MORL において、CAPQL のアーキテクチャや損失関数を変えずに、保存済み transition を別の preference で再ラベルする Hindsight Preference Replay (HPR) を提案する研究。 - 目的は preference simplex 全体での supervision を密にすること。 - 評価は MO-Gymnasium の 6 つの locomotion タスク、300000 step 固定予算。 - 指標は expected utility (EUM)、hypervolume (HV)、sparsity。

CAPQL は weight vector w に条件付けする preference-conditioned actor-critic だが、データ利用を収集時の preference に限定し、他 preference の off-policy データを未使用のままにしていた。 - HPR はこの制約を緩め、保存済み transition を代替 preference で遡及的に再ラベルする。 - CAPQL のアーキテクチャや損失関数を変更せずに適用できる点が差分。 - 結果として HPR-CAPQL は 6 環境中 5 で HV、4 で EUM を改善。

Hindsight Preference Replay (HPR) は、replay buffer 内の transition を別の preference で再ラベルする replay augmentation。 - これにより preference simplex 上の supervision を密にする。 - CAPQL の preference-conditioned actor-critic 構造や損失関数はそのまま。 - 具体的な再ラベル分布や実装詳細は要旨からは不明。

MO-Gymnasium の 6 つの locomotion タスクで、300000 step 固定予算にて検証。 - 指標は expected utility (EUM)、hypervolume (HV)、sparsity。 - HPR-CAPQL は 6 環境中 5 で HV、4 で EUM を改善。 - mo-humanoid-v5 では EUM が 323±125 から 1613±464、HV が 0.52M から 9.63M へ上昇し統計的裏付けも強い。 - mo-halfcheetah-v5 は例外で、同程度の EUM で CAPQL が高い HV。 - 全タスクの最終要約と Pareto-front 可視化を報告。

mo-halfcheetah-v5 は HPR-CAPQL が改善しない challenging exception として残る。 - 同程度の EUM で CAPQL が高い HV を達成。 - この例外の原因や限界、再ラベル分布の影響は要旨からは不明。 - 統計的裏付けの詳細や sparsity の結果も要旨からは不明。

CAPQL と MO-Gymnasium の locomotion タスクが直接の比較対象。 - 関連手法として preference-conditioned MORL、off-policy data を用いる replay augmentation、hindsight relabeling が挙げられる。 - 同分野の定番として multi-objective reinforcement learning (MORL)、actor-critic、Pareto front 評価。 - 具体的な次読論文名は要旨からは不明。