RENEW: 選好から世界モデルの学習とモデル悪用の修復を目指して

本論文は、オフライン強化学習（RL）におけるWorld Modelのモデル活用（model exploitation）問題を、人間の選好（preferences）を用いて直接修復する新しいフレームワークRENEWを提案する。具体的には、想像上のロールアウトに対する人間の選好を利用し、World Modelのダイナミクス学習を選好に基づいて微調整する。これをDynamics Learning from Human Feedback (DLHF)として形式化し、Bradley-Terry選好損失を用いて軌道の対数尤度を学習する。さらに、RENEWはて epistemic uncertainty を用いて、モデルが最も活用されやすい領域に焦点を当てた微調整を行い、サンプル効率を向上させる。

先行研究では、モデル活用に対処するために、追加の専門家デモを収集するか（高コスト・危険・不可能な場合がある）、不確実な領域を避ける保守的アルゴリズムを用いていた（一般化を制限）。これに対し、本手法は人間の選好を直接利用してモデルの幻覚（egregious dynamics hallucinations）を修復する点が新しい。人間の直感的物理知識を活用し、追加のデモなしでモデル活用を直接修復できる可能性を示す。また、単純なDLHFはサンプル非効率であるが、RENEWはepistemic uncertaintyを利用して効率を改善する点も貢献である。

手法の核は、DLHFの形式化とRENEWのサンプル効率改善である。DLHFでは、学習されたダイナミクスモデル下での軌道の対数尤度に対するBradley-Terry選好損失を定義し、人間の選好に基づいてモデルを微調整する。RENEWは、epistemic uncertainty（モデルの知識の不確かさ）を推定し、その不確かさが高い領域（モデルが活用されやすい）に重点を置いて選好クエリを生成し、微調整を行う。これにより、限られた選好予算で効率的にモデルを修復し、破滅的忘却を防ぐ。

Jumanjiおよび古典的な制御環境（classic control environments）で評価を行った。比較対象として、素朴なDLHF（naive DLHF）と事前学習済みWorld Modelを用いた。結果、素朴なDLHFは過大な選好予算を必要とするのに対し、RENEWはサンプル効率を改善し、破滅的忘却を制限し、事前学習済みWorld Modelにおけるモデル活用を低減することを示した。

要旨からは、提案手法が初期の証拠を提供するに留まり、大規模な環境や複雑なタスクでの有効性は不明である。また、人間の選好の品質や一貫性、選好の収集コストに関する議論は要旨に含まれていない。さらに、epistemic uncertaintyの推定方法や、選好がモデルのダイナミクスに与える影響の理論的保証については言及がない。

要旨で参照されている関連研究として、オフラインRLにおけるWorld Modelの活用とモデル活用への対処法（保守的アルゴリズムや専門家デモ収集）が挙げられる。具体的には、モデルベースRLの標準的な手法（例：MOPO、COMBO）や、人間のフィードバックを用いたRL（例：Preference-based RL）に関する論文が関連する。次に読むべき論文としては、これらの分野の代表的な研究が考えられるが、要旨に明示的な参照はないため、同分野の定番である「Model-based Offline RL」や「Preference-based RL」のサーベイを挙げる。