目標条件付き強化学習のためのヌル反事実的因子相互作用

- 本論文は、object-centric な領域における goal-conditioned reinforcement learning (GCRL) のための手法 HInt (Hindsight Relabeling using Interactions) を提案する。 - hindsight relabeling に object-object interaction の情報を組み合わせ、下流の RL の sample efficiency を改善する。 - interaction の統計的定義が無い問題に対し、null counterfactual に基づく定義と推論手法 NCII (Null Counterfactual Interaction Inference) を導入する。

- 従来の hindsight relabeling は navigation や locomotion では強力だが、object-centric 領域では target block に触れない trajectory にも高い reward を与えてしまい、学習を困難にする。 - 本手法は interaction を明示的に活用することで、こうした無意味な trajectory の影響を抑える点が新しい。 - 結果として sample efficiency を最大 4x 改善。

- interaction を「cause object が存在しなかった世界で target object の transition dynamics が変わる」という null counterfactual で定義する。 - NCII は learned model と "nulling'' operation を用いて interaction を推論する。 - HInt はこの interaction 情報を hindsight relabeling と組み合わせて下流の GCRL に利用する。

- 単純な linear dynamics の領域と、Robosuite、Robot Air Hockey、Franka Kitchen の dynamic robotic 領域で NCII の interaction 推論精度を評価。 - 両領域で大幅な精度改善を達成。 - HInt により下流 RL の sample efficiency が最大 4x 向上することを示した。

- 要旨からは不明。 - ただし object-centric 領域における hindsight relabeling の失敗と、interaction 定義の難しさが動機として述べられている。

- 要旨で直接参照されている個別論文は無い。 - 関連手法として hindsight relabeling (HER など)、goal-conditioned reinforcement learning (GCRL)、Robosuite、Robot Air Hockey、Franka Kitchen に関する研究が次に読む候補となる。