日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2607.13172

人間の選好と正当化に基づくワールドモデルを用いた安全なエージェント行動の学習

Learning Safe Agent Behaviour from Human Preferences and Justifications via World Models

シェア:XThreadsFacebookLINEはてブBluesky

未知の環境で報酬関数が使えない安全重視のタスクに対し、人間の選好とその理由(正当化)を活用して報酬モデルを学習し、ワールドモデルとモデル予測制御で安全な方策を直接展開する手法DROPJを提案した。

詳しい要約

1. どんなもの?

本論文は、環境ダイナミクスが未知で適切な報酬関数が利用できない安全重視環境において、エージェントのポリシーを安全に訓練・展開する問題に取り組む。伝統的な強化学習は非現実的とし、人間の入力を活用する。提案手法DROPJは、実世界の軌跡データセットからworld model(学習済みシミュレータ)を学習し、人間がそのシミュレータ上でプレイして情報豊富な軌跡を抽出する。次に軌跡セグメントのペアをサンプリングし、人間に選好とその理由(正当化)を尋ねる。これらの正当化付き選好から報酬モデルを訓練し、world modelと組み合わせてmodel predictive controlでエージェントを直接展開する。

2. 先行研究と比べてどこがすごい?

先行研究では、人間のフィードバックを用いた強化学習(RLHFなど)が提案されているが、多くは環境ダイナミクスが既知であるか、報酬関数が存在することを前提とする。また、安全重視環境では、実環境での試行錯誤が危険であるため、シミュレータ内での訓練が有効だが、シミュレータの正確性やフィードバックの効率が課題である。DROPJは、world modelを学習し、その中で人間が軌跡を生成することで、実環境での危険な試行を避けつつ、情報豊富な軌跡を効率的に収集できる点が新しい。さらに、選好に加えて正当化(justification)を収集し、それを報酬モデルに組み込むことで、安全性やユーザー指定の安全側面を優先できる点が先行研究と異なる。

3. 技術・手法の肝は?

手法の肝は、以下の3点である。(1) world modelの学習:実世界の軌跡データセットから環境ダイナミクスを学習し、シミュレータを構築する。(2) 情報豊富な軌跡の生成:人間がシミュレータ上でプレイし、多様で有益な軌跡を抽出する。これにより、訓練時の計算コストを削減する。(3) 正当化付き選好からの報酬モデル学習:軌跡セグメントのペアに対する人間の選好とその理由(自然言語の正当化)を収集し、これらを統合して報酬モデルを訓練する。展開時には、world modelと報酬モデルを用いてmodel predictive controlを実行する。正当化は、報酬モデルに安全に関する事前知識を注入する役割を果たす。

4. どうやって有効だと検証した?

実ユーザー実験を実施し、提案手法の有効性を検証した。具体的には、情報豊富なシミュレーション軌跡をユーザーから生成することで、他の戦略と比較して訓練時の計算コストが大幅に削減されることを示した。また、展開時の性能も向上することを確認した。さらに、学習シミュレータ内での訓練において、選好フィードバックが他のタイプのフィードバックよりも展開時の性能を大幅に向上させることを示した。加えて、選好に付随する安全正当化が、展開時の安全性やユーザー指定の安全側面を優先的に向上させることを実証した。

5. 議論はある?

要旨からは、議論の詳細は不明であるが、いくつかの点が考えられる。まず、world modelの学習には実世界の軌跡データセットが必要であり、その品質が性能に影響する可能性がある。また、人間のフィードバック(選好と正当化)の収集にはコストがかかり、スケーラビリティに課題があるかもしれない。さらに、正当化の自然言語処理の複雑さや、報酬モデルへの組み込み方法によっては、誤った安全バイアスが生じる可能性も議論されうる。しかし、要旨ではこれらの限界や将来の課題について明示的に言及されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究としては、人間の選好を用いた強化学習(RLHF)や、world modelを用いたモデルベース強化学習、model predictive controlなどが挙げられる。具体的には、Christian et al. (2017)のDeep RL from Human Preferencesや、Ha & Schmidhuber (2018)のWorld Modelsなどが関連する。また、安全強化学習の分野では、安全制約を扱う研究も関連する。次に読むべき論文としては、これらの基礎的な手法を詳述した論文が適切である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ilias Kazantzidis, Timothy J. Norman, Yali Du, Christopher T. Freeman

分類: cs.AI, cs.LG

原文アブストラクト

We address the problem of safely training an agent policy and deploying a good and safe policy, in settings where the environment dynamics are unknown and no suitable reward function is available. In the context of safety-critical environments, we consider traditional reinforcement learning impractical and resort to the resource of human input. We introduce DROPJ, a human-centred method for both safe training and deployment. We first learn a world model (a learned simulator) from a dataset of prior real-world trajectories. A human then plays the game in this learned simulator to extract several informative simulated trajectories. From these, we sample pairs of simulated trajectory segments and elicit from a human their preference over these segments, as well as a reason (justification) for their choice. We then train a reward model from these justified preferences and use it, together with the world model, to directly deploy the agent using model predictive control. Running real-user experiments, we find that generating informative simulated trajectories from a user significantly reduces the computational cost during training compared to other strategies, and can also improve the performance during deployment. In the context of training within a learned simulator, we show that the use of preferences rather than other types of feedback substantially improves the performance during deployment. We further demonstrate that safety justifications accompanying preferences can significantly enhance safety or prioritise user-prescribed aspects of safety associated with them during deployment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI