相対的行動クレジット学習による局所解脱出

- 強化学習によるロボットの manipulation skill 獲得を目指す研究。 - on-policy 手法 PPO が long-horizon・contact-rich タスクで停滞する問題を扱う。 - 原因を state-value credit assignment における action discrimination の欠如に帰着させる。 - PPO を拡張し、action conditioned value critic を導入したアルゴリズムを提案。 - 精密な peg insertion を限られた training budget で完了できることを示す。

- 従来の PPO は dense reward shaping で段階を通過できても、stitching や sparsely rewarded event の発見に失敗しやすい。 - state-value critic は episode outcome のみで進捗を評価するため、partial solution に収束すると全 outcome が一致し改善が止まる。 - 提案手法は action conditioned value critic により同一 state で代替 action と比較でき、learning signal を補助する。 - 同一 exploration の PPO が失敗する training budget で peg insertion を完了できる点が差分。

- PPO を拡張し、action conditioned value critic を導入する。 - その critic は実行 action を同一 state でサンプルした代替 action と比較し、learning signal を補助する。 - Generalized Advantage Estimation と組み合わせる。 - exploration noise に bound を課す。 - これらにより plateau からの脱出を狙う構成。

- 精密な peg insertion タスクで検証。 - 同一 exploration 設定の PPO が失敗する training budget 内で、提案拡張アルゴリズムがタスクを完了できることを示す。 - 具体的な比較条件や指標の詳細は要旨からは不明。

- 停滞の原因を state-value credit assignment の action discrimination 欠如として議論。 - partial solution 収束時に outcome が一致し改善が止まる点を問題視。 - action conditioned value critic と exploration noise の bound の効果を主張。 - 限界や他タスクへの一般性、詳細な ablation は要旨からは不明。

- PPO - Generalized Advantage Estimation - state-value critic に関する credit assignment 研究 - action conditioned value critic を用いる関連手法 - long-horizon・contact-rich manipulation における sparse reward 研究